小说 星座 交友 视频 明星 新闻 NBA 足球 体育 美图 游戏 音乐 摄影 军事 笑话
社区 招聘 地图 美食 汽车 基金 两性 女性 法律 娱乐 时尚 彩票 宠物 股票 手机
购物 健康 银行 房产 儿童 旅游 大学 宗教 公益 考试 教育 外语 留学 科技 爱好
微博 电脑 桌面 招商 聊天 硬件 软件 建站 编程 邮箱 设计 数码 曲艺 棋牌 生活
QQ 二手汽车 生活助手 天气 直播 站长 婚嫁 租厂房 服务器 租赁 互联网 农产品 修理 搬家 UI素材
保洁 面辅料 牧业 出书 代工 物流 电影 电视 综艺 动漫 全知导航-八卦 秀场 减肥 美女 母婴
团购 特卖 家居 杀毒 手机应用 找加盟 找设计 找家政 众筹 找搬家 找代理 热门应用 找代工 找工作 找物流
找回收
Meta加入AI军备竞赛:发布开源大语言模型,号称优于ChatGPT

关键词:模型,Meta,参数,LLaMA,表示,语言,AI%,谷歌,研究

Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型

继微软、谷歌之后,脸书(Facebook)母公司Meta(Nasdaq:META)也加入AI军备竞赛。

当地时间2月24日,Meta官网公布了一款新的人工智能大型语言模型LLaMA,从参数规模来看,Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型,并用20种语言进行训练。

Meta首席执行官马克·扎克伯格表示,LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面有很大的前景。

怎么理解人工智能大型语言模型的参数?

据悉,AIGC(利用人工智能技术来生成内容)形成的学习能力在一定程度上取决于参数的规模。Open AI推出的ChatGPT是通过其AI大模型GPT-3的基础上通过指令微调后得到的,参数量达1750亿,谷歌推出的Bard使用的是轻量级LaMDA模型,相比标准版本,轻量化版本模型所需要的运算能力较小,能面向更多使用者开放,使其参与体验,有报道指出LaMDA模型参数量在1370亿。百度文心大模型参数量达到2600亿,阿里则表示,从过往实践来看,其具备支撑超万亿参数大模型研发的技术实力。

Meta此次推出的大模型实力如何呢?

Meta首席AI科学家杨立昆(Yann LeCun)表示,在一些基准测试中,LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT3,且能跑在单个GPU上;650亿参数的LLaMA模型能够和DeepMind 700亿参数的Chinchilla模型、谷歌5400亿参数的PaLM模型竞争。

法新社称,按照Meta的表述,LLaMA是一套“更小、性能更好”的模型,且不同于谷歌的LaMDA和OpenAI的GPT机密训练资料和演算,LLaMA是基于公开资料进行训练。

Meta在官网表示,在大型语言模型中,像LLaMA这样的小型基础模型是可取的,因为测试新方法、验证他人的工作和探索新用例所需的计算能力和资源要少得多。基础模型基于大量未标记的数据进行训练,这使得它们非常适合于各种任务的微调。与其他大型语言模型一样,LLaMA的工作原理是将一系列单词作为输入,并预测下一个单词以递归生成文本。

Meta称将致力于这种开源模型的研究,新模型会开源给整个AI研究社区使用,并授予大学、非政府组织和行业实验室访问权限。另外,Meta表示其还有更多研究需要做,以解决大型语言模型中的偏见、有害评论等风险。

Meta披露的2022年第四季度财报显示,该公司已连续第三个季度出现营收同比下滑,四季度营收312.54亿美元,同比下降4%。广告为Meta的支柱业务,为第四季度的总营收贡献超97%,报告期内,尽管广告展现量增长了23%,但单位广告价格下滑了22%。

截至美东时间2月24日,Meta股价跌0.96%报170.390美元/股,总市值4418亿美元。

TIP:您正在快照阅读,阅读更多点击

发布日期:2023-02-27 14:21:56

以上由全知导航为您整理呈现.删除请联系: info@404886.com     

网友观点:
马上发表

网友评论仅供其表达个人看法,并不表明全知头条立场。请理想发言,恶性发现将由个人承担全部责任。

已为您加载完全部评论
相关推荐