Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

网易 2024-04-19 13:49:45
A+ A-

Meta公司近日震撼发布开源大语言模型Meta Llama 3,此举被视为人工智能发展历程中的重要里程碑。Llama 3首批推出两款版本,分别拥有80亿参数(Llama 3 8B)和700亿参数(Llama 3 70B)。更强大的4000亿参数版本(Llama 3 400B)正在紧锣密鼓地训练中,预计未来数月内将与公众见面。

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

相较于前代Llama 2,Llama 3不仅在性能上实现显著提升,更在推理、代码生成和指令遵循等领域取得突破性进展,使其成为当前最顶尖的开源大语言模型。Llama 3的优势体现在其庞大的参数规模、高质量的训练数据、先进的模型架构、创新的微调技术及对安全性的严格把控,这些因素共同铸就了其卓越的性能表现,并预示着未来有望继续挑战行业标准。

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Llama 3的发布在业内引发强烈反响,众多专家与开发者纷纷给予高度评价。Jim Fan博士视即将面世的Llama 3-400B+模型为社区获取GPT-4级别模型的关键节点,预期其将重塑诸多研究项目和初创企业的前进路径。Cameron R. Wolfe博士则强调了Llama 3在数据质量方面的不懈努力,如采用15万亿个token的预训练数据(较Llama 2增加7倍,远超DBRX的12万亿个)、丰富代码数据、扩大词汇表至128K tokens以提升效率与性能,以及实施全方位数据质量过滤与实证分析,确保模型在各种任务上的出色表现。

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Aston Zhang作为Llama 3的开发者,分享了研发过程中面临的挑战与宝贵经验,揭示了数据、计算、基础设施、模型、推理、安全和评估等环节的紧密协作。他透露,最大模型已超过400B参数且仍在训练,选择8B而非7B模型的原因在于升级tokenizer至128K词汇表以提高效率与性能。此外,Llama 3预训练上下文窗口设为8K tokens,未来将发布支持更长上下文窗口的模型,并辅以自动评估与精心设计的人工评估,以全面衡量模型性能。

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Bindu Reddy赞叹Llama 3 70B模型的表现令人惊艳,坚信开源社区将在短时间内超越GPT-4。Rowan Cheung预测Meta将向其逾30亿用户免费提供GPT-4级别的模型,这一举措或将深刻改变人工智能的普及进程,尤其对于尚未充分接触或仅使用过GPT 3.5的广大用户而言,可能让他们体验到Llama 3相较于ChatGPT的优越之处。

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Meta通过推出集成Llama 3的新网站meta.ai,现已开放公众使用。Llama 3的详细信息可访问以下链接:

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

- [Meta AI博客](https://ai.meta.com/blog/meta-llama-3/?utm_source=twitter&utm_medium=organic_social&utm_content=video&utm_campaign=llama3) - [Llama 3专题页面](https://llama.meta.com/llama3/)

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

Meta CEO扎克伯格最新采访:最强开源模型Llama 3凭什么值百亿美金

责任编辑:乔娇 TT0002
点击查看全文(剩余0%)

热点新闻

精彩推荐

加载更多……