Meta 推出 AI 语言模型 LLaMA，一个有着 650 亿参数的大型语言模型
2 月 25 日消息，meta 在当地时间周五宣布，它将推出一种针对研究社区的基于人工智能 (AI) 的新型大型语言模型，与微软、谷歌等一众受到 ChatGPT 刺激的公司一同加入人工智能竞赛。
meta 的 LLaMA 是“大型语言模型 meta AI” (Large Language Model meta AI)的缩写，它可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者。
该公司将提供底层代码供用户使用，因此用户可以自行调整模型，并将其用于与研究相关的用例。meta 表示，该模型对算力的要求“低得多”。
据介绍，该公司正在开发多种参数(7B、13B、33B 和 65B)的 LLaMA。其中，LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练，而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。
与其他大型语言模型一样，LLaMA 的工作原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。为了这套模型，meta 从使用人数最多的 20 种语言中选择文本进行训练，重点是拉丁语和西里尔字母。
当然，与其他模型一样，LLaMA 也面临着偏见、有毒评论和幻觉的挑战，meta 还需要做更多的研究来解决这类语言模型中的不足。
meta 表示，LLaMA 作为一个基础模型被设计成多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。通过开源 LLaMA 的代码，其他研究人员可以更轻松地找到限制或消除这些问题的新方法。meta 还在本文中提供了一组评估模型偏差和毒性的基准评估标准，以显示模型的局限性并支持研究人员在这一关键领域的进一步研究。
[img]
值得一提的是，meta 在去年 5 月也曾推出过大型语言模型 OPT-175B。该项目同样也是针对研究人员的，这构成了其聊天机器人 blenterbot 新迭代的基础。
后来，该公司还推出了一款名为“卡拉狄加”(Galactica) 的模型，据称它可以撰写科学文章和解决数学问题，但其演示版本后来被下架，因为它反复生成“听起来很权威”的内容。
相关文章
- 微软 PowerToys 新增“高级粘贴”功能：实时转换剪贴板内容
- 超半数用户未在 Win11 上使用过 Copilot，微软：暂缓 Copilot 新功能推出
- 人工智能主要应用哪几个方面（人工智能应用有哪些方面）
- OpenAI推出漏洞奖励计划：寻找人工智能系统漏洞有奖
- 诺奖得主：AI从缩短工作时间到提升工作幸福感
- 网络安全公司开发AI工具，1分钟破解大部分常见密码
- 康奈尔大学研究团队开发无声沟通技术，利用声纳眼镜执行任务
- 人工智能芯片性能与功率效率，高通战胜英伟达成最大赢家
- 网络安全公司警告：超过一半常规密码可在1分钟内被破解
- 映宇宙集团接入GPT3.5 turbo和审核中的GPT4，将进一步提升语言处理能力
- 昇思MindSpore：人工智能的创新之源
- 史玉柱：未来游戏公司应重点布局游戏+AI领域
- 人工智能技术制作“特朗普被捕”照片引发担忧
- 海天瑞声：大模型和AIGC领域带来更多机遇和挑战
- 必应聊天中已有广告出现 用户质疑AI中立性
- AI研究人员呼吁暂停研发更先进的AI技术
系统下载排行榜71011xp
番茄花园Win7 64位推荐旗舰版 V2021.05
2深度技术Win7 64位豪华旗舰版 V2021.07
3番茄花园Win7 64位旗舰激活版 V2021.07
4带USB3.0驱动Win7镜像 V2021
5系统之家 Ghost Win7 64位 旗舰激活版 V2021.11
6萝卜家园Win7 64位旗舰纯净版 V2021.08
7技术员联盟Win7 64位旗舰激活版 V2021.09
8雨林木风Win7 SP1 64位旗舰版 V2021.05
9萝卜家园Ghost Win7 64位极速装机版 V2021.04
10技术员联盟Win7 64位完美装机版 V2021.04
深度技术Win10 64位优化专业版 V2021.06
2深度技术Win10系统 最新精简版 V2021.09
3Win10超级精简版 V2021
4Win10完整版原版镜像 V2021
5风林火山Win10 21H1 64位专业版 V2021.06
6Win10光盘镜像文件 V2021
7深度技术 Ghost Win10 64位 专业稳定版 V2021.11
8技术员联盟Ghost Win10 64位正式版 V2021.10
9Win10 21H1 Build 19043.1320 官方正式版
10技术员联盟Win10 64位永久激活版镜像 V2021.07
系统之家 Ghost Win11 64位 官方正式版 V2021.11
2Win11PE网络纯净版 V2021
3系统之家Ghost Win11 64位专业版 V2021.10
4Win11官网纯净版 V2021.10
5Win11 RTM版镜像 V2021
6番茄花园Win11系统64位 V2021.09 极速专业版
7Win11专业版原版镜像ISO V2021
8Win11官方中文正式版 V2021
9Win11 22494.1000预览版 V2021.11
10番茄花园Win11 64位极速优化版 V2021.08
深度技术Windows XP SP3 稳定专业版 V2021.08
2雨林木风Ghost XP Sp3纯净版 V2021.08
3萝卜家园WindowsXP Sp3专业版 V2021.06
4雨林木风WindowsXP Sp3专业版 V2021.06
5技术员联盟Windows XP SP3极速专业版 V2021.07
6风林火山Ghost XP Sp3纯净版 V2021.08
7萝卜家园 Windows Sp3 XP 经典版 V2021.04
8番茄花园WindowsXP Sp3专业版 V2021.05
9电脑公司WindowsXP Sp3专业版 V2021.05
10番茄花园 GHOST XP SP3 纯净专业版 V2021.03
热门教程 更多+
装机必备 更多+
重装教程 更多+
电脑教程专题 更多+
