应用

Meta发布低成本高效能Llama3.3大模型,作为今年压轴之作

Meta公司正式推出了其Llama系列中的新成员——Llama 3.3 70B,这是一款拥有70亿参数的生成式AI模型。

美东时间12月6日,Meta公司正式推出了其Llama系列中的新成员——Llama 3.3 70B,这是一款拥有70亿参数的生成式AI模型。Meta的首席执行官扎克伯格在Instagram上宣布,这是他们今年最后一次对AI大模型进行重大更新,预示着Llama 4将在明年问世。

IMG_256Meta生成式AI副总裁Ahmad Al-Dahle在社交媒体X上透露,尽管Llama 3.3 70B的参数数量远少于Meta的最大模型Llama 3.1(拥有4050亿参数),但它却能在纯文本任务上实现与Llama 3.1相同的性能,而且成本更低。他解释说,这得益于最新的后训练技术进展,如在线偏好优化等,这些技术不仅降低了成本,还提高了模型的核心性能,使其更容易被开源社区接受。

IMG_257

今年7月,Meta曾发布了迄今为止最大的Llama开源模型——Llama 3.1,该模型拥有4050亿参数,并使用了1.6块英伟达H100 GPU进行训练。Meta表示,Llama 3.1在一定程度上可以与OpenAI的GPT-4和Anthropic的Claude 3.5 Sonnet等竞争对手相媲美。

扎克伯格甚至将Llama 3.1称为“艺术的起点”,并强调该模型具备了许多新的能力,如改善推理以处理复杂的数学问题,或即时合成一整本书。

然而,Meta对Llama模型的使用设置了一定的限制。他们规定,月度用户超过7亿的平台必须申请特殊许可才能使用Llama模型。尽管如此,Llama模型的下载量仍然超过了6.5亿次,这表明许多人对它非常感兴趣。

Meta还在内部使用了Llama模型。扎克伯格透露,Meta的AI助手Meta AI完全由Llama模型提供支持,目前每月拥有近6亿活跃用户。他预计,Meta AI有望成为世界上使用率最高的AI助手。

IMG_258

然而,Llama模型的开源也给Meta带来了一定的风险和挑战。去年11月,有报道称Llama模型被用于开发军用AI工具后,Meta回应称将向美国政府机构和国家安全领域的私营企业承包商提供Llama模型。

此外,Meta还对其遵守欧盟《人工智能法案》的能力表示担忧,认为该法律的实施对其开源发布战略来说“太难以预测”。同时,欧盟的《通用数据保护条例》(GDPR)也给Meta带来了问题,因为Meta使用未选择不接受的Instagram和Facebook用户的公开数据来训练AI模型,而这些数据在欧洲受到GDPR的保护。

关键词

24快报
JSON抓取失败