当前位置:首页  /  知识问答  /  硬刚闭源OpenAI:Meta发布“最强开源模子 ”Llama 3.1

硬刚闭源OpenAI:Meta发布“最强开源模子 ”Llama 3.1

分类:知识问答

  开源阵营迎来新的“各人 伙”。

  本地 时间7月23日,Meta正式发布Llama 3.1。在官方博客中,Meta称该模子 是如今 “最强大 的开源底子 模子 ”,并表现 :“直到本日 ,开源大模子 在功能和性能方面大多掉队 于封闭模子 。如今 ,我们正在迎来一个开源引领的新期间 。”

  作为开源范畴 的常青树,Llama系列不停 在引领开源大模子 的脚步,Meta也被奉为与OpenAI齐名的巨头,分别代表着开源与闭源的技能 走向。

  发布Llama 3.1的同时,Meta首创 人、CEO扎克伯格也发布长文夸大 了开源的意义,他表现 ,开源是AI积极发展的须要 条件,“本日 我们正迈出下一步——使开源AI成为行业标准 。”

  Llama 3.1包罗 8B、70B和405B三种参数规模,实用 于多种场景,包罗 多语言署理 、复杂推理和编码助手等。该系列模子 上下文窗口增长 到了128K,扩大16倍;支持多种语言,包罗 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等;提拔 了工具利用 本领 ,支持搜刮 和Wolfram Alpha的数学推理;拥有更宽松的答应 ,答应 利用 模子 输出改进其他LLMs。

  评测结果 表现 ,Llama 3.1 405B可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等业界头部模子 媲美,这也是Meta迄今为止最强大 的模子 。

  Meta指出,最新一代的Llama将引发 新的应用程序和建榜样 式,包罗 利用 合成数据天生 来提拔 和练习 更小的模子 ,以及模子 蒸馏——这是一种在开源范畴 从未有过的本领 。

  着实 在模子 公布前一天,Llama3.1的模子 和基准测试结果 已经在Reddit等技能 社区上泄漏 ,Llama 3.1的磁力链接在HuggingFace等社区中传播 。“开源”“强大 ”成为业界人士利用 感受中的高频词。

  不少AI范畴 专业人士在X上发表观点,包罗 “这是开源Al最紧张 的时候 ,其在基准测试上已经有多项逾越 了GPT-4o”,“将先辈 的大模子 开源,是击败那些传播 AGI可怕 论职员 的最佳方式”等。别的 ,也有不少网友实行 向Llama3.1提问“9.11和9.9谁大”这一经典题目 ,不外 ,Llama3.1也出现了偶尔 答错的环境 。

  差别 于OpenAI对技能 文档的“惜字”,Meta还发布了长达92页的论文,具体 披露了创造Llama 3.1的过程。HuggingFace首席科学家Thomas Wolf感慨说:“假如 你是从零开始研究大模子 ,就从这篇论文读起。”

  技能 论文也透露了一些练习 细节,包罗 Llama 3.1在高出 15万亿个token的数据上举行 练习 ,用了1.6万块英伟达H100芯片,预练习 数据日期克制 到2023年12月等。别的 ,为了包管 练习 稳固 性和便捷性,Meta只用了Transformer模子 架构举行 调解 ,而没有采取 如今 盛行 的肴杂 专家模子 (MoE)架构。

  Llama 3.1发布之后,Meta与一系列公司敏捷 睁开 相助 ,以发展更广泛的生态体系 ,亚马逊、Databricks和英伟达正在推出全套服务,以支持开辟 职员 微调和提炼他们本身 的模子 。Scale.AI、Dell、德勤等公司已预备 好资助 企业采取 Llama,并用他们本身 的数据练习 定制模子 。

  国内厂商方面,北京时间7月24日,腾讯云TI平台适配并上架了Meta最新开源大模子 Llama3.1,腾讯云对该系列模子 举行 了精调、推理测试验证,保障模子 的可用性、易用性,可覆盖智能对话、文本天生 、写作等多个差别 场景。

  Llama 3.1面世,扎克伯格同一时间在官网发布长文《开源AI是进步 之路》,具体 阐释了开源对全部 开辟 者、对Meta、对天下 的意义。

  谈及为何要开源,以及开源对于AI行业的意义,扎克伯格刻画 了开辟 者、Meta以及天下 三方共赢的开源之路。

  他指出,对于开辟 者而言,开源模子 可以资助 他们练习 、微调和蒸馏本身 的模子 ,掌控本身 的运气 ,而不是被闭源供应商“锁死”,可以掩护 他们的数据安全,并以更低的本钱 练习 出属于本身 的高服从 运行模子 。

  对于Meta而言,为确保始终可以或许 获取最佳技能 ,而不是被锁定在竞争对手的封闭生态体系 中,Llama必要 发展成为一个完备 的工具生态体系 ,包罗 服从 提拔 、硅片优化和其他集成等。扎克伯格预计,人工智能的发展将连续 剧烈 ,这意味着开源任何特定模子 并不会在当时 丧失比下一个最佳模子 更大的上风 。Llama致力于通过连续 保持竞争力、服从 和开放性,渐渐 成为行业标准 。

  他还直白地表现 :“Meta与闭源模子 提供者的一个关键区别在于,出售AI大模子 的访问权并不是我们的贸易 模式。这意味着公开辟 布Llama并不会减弱 我们的收入、可连续 性或研究投资源 领 ,而这对于闭源提供者来说则否则 。”

  对于天下 而言,扎克伯格以为 ,开源将确保环球 更多的人可以或许 从AI的发展中得到 长处 和机遇 ,权利 不会合 中在少数几家公司手中,技能 可以或许 更匀称 和安全地在社会中摆设 。

  开源与闭源的争论不停 是技能 范畴 的热门 话题。他在文中写道:“我信托 Llama 3.1的发布将成为行业的一个迁移转变 点,大多数开辟 者将开始重要 利用 开源。”

  从技能 进步的角度,360团体 首创 人周鸿祎曾表现 ,在开源社区里,为了一个共同的目标 ,凝结 起环球 上千家公司、数十万程序员和工程师,一起来办理 题目 ,开辟 力气 是一个闭源公司的数百倍。而且在开源的文化里,各人 不消 重复发明轮子,一个人在另一个人想法底子 上快速改进,研发速率 也特别 快。

  阿里云CTO周靖人告诉21世纪经济报道记者,开源对环球 技能 及生态的贡献毋庸置疑,这一点也在环球 范围内被多次证明 ,已经没有再讨论的须要 。“我们以为 ,大模子 的潜力还没有真正被发掘 出来,企业和开辟 者可以或许 连合 本身 实际 业务的需求,在开源体系里探索出一个翻天覆地的变革 。”他说。

  科技巨头们对AI的押注从未怠惰 。Meta也以后 前押注的元宇宙赛道积极往AI范畴 转型。日前,Meta公布 减少 其元宇宙部分 Reality Labs的硬件预算,该部分 负责AR、VR和元宇宙业务。Meta还将一些致力于AI的Reality Labs团队转移到公司更广泛的天生 式AI团队,此中 包罗 一个140人的AI语音开辟 团队。

  就在Llama 3.1发布同一天,谷歌母公司Alphabet管理团队还在二季度财报电话会上夸大 了AI投资的紧张 性。Alphabet首席实行 官Sundar Pichai直言:“对AI‘投资不敷 ’的风险远超‘投资太过 ’风险”,纵然 出现太过 投资的环境 ,当前用于数据中心 等底子 办法 的投资也可以用于其他任务 ,而不在AI比赛 中保持领先职位 将对公司造成更为严峻 的负面影响。”

  GPT-4o刚刚刷过存在感,Llama 3.1又横空出世。在这场AI比赛 中,科技巨头们步履不绝 ,无论是闭源还是 开源,将来 都尚有 硬仗。