type
status
title
summary
slug
Created
Apr 19, 2024 02:07 PM
category
tags
Date
icon
password
Meta最近终于发布了
Llama3大模型，OpenAI和CloseAI又要“开战了”，以下是关于Llama3的几点总结：1、发布时间
Llama3的发布时间是北京时间4月19号0点37分，这主要是依据Meta的首席AI科学家 Yann LeCun 发布Twitter帖文的时间。
2、发布型号
3、Llama3 VS Llama2
- 4倍的词汇量（
Llama3是128k，Llama2是32k）
- 使用 15T token训练，是
Llama2的7倍
- 2倍的上下文，
Llama3是8k，Llama2是4k（个人认为还是太小了，不过据说后续会发布更大的）
- 两个模型都具备分组查询注意力(GQA) ，
Llama2只有70B这个模型具备
- 整体性能优于
Llama2
4、性能测试
Llama3 在MMLU（学科知识理解）、GPQA（一般问题）、HumanEval（代码能力）、GSM-8K（数学能力）、MATH（比较难得数学）五个基准测试上，不管是Llama3-8B，还是Llama-70B，都优于目前比较优秀的大模型。
但是这个我觉得看看就行，毕竟比别人差的东西还发出来肯定会被用户吐槽，但性能肯定是不错的。
另外，为了寻求
Llama3在现实场景的性能，开发人员还开发了一套新的高质量人类评估集。该评估集包含 1,800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。而且为了避免模型在此评估集上过度拟合，即使是Llama3的模型开发人员也无法访问它。这是
Llama3在这些评估集的测试结果，整体是优于其他模型的
5、训练数据
- 数量上，
Llama 3经过 15T token以上的预训练，并且官方声明这些数据全部从公开来源收集（比Llama 2使用的数据集大7倍）
- 超过 5% 的 Llama 3 预训练数据集由涵盖 30 多种语言的高质量非英语数据组成（但是这些语言的性能水平不会与英语相同，还是得靠其他开源大佬微调）
8B的知识库时间只到2023年3月，70B的知识库时间只到了2023年12月（感觉是不是8B的训练时间早于70B，所以时间早了这么多）
6、如何体验
6.1 Replicate
墙裂推荐，直接访问： https://llama3.replicate.dev/ 就行，无需登录
6.2 使用我们之前提到过的 ollama 工具
6.3 使用 MetaAI
不太建议，锁地区，而且要Facebook账户，对国内用户不友好
7、未来规划
Meta在后续的几个月中，将发布多个具有新功能的模型，包括多模态、以多种语言交谈的能力、更长的上下文窗口。
比如目前有一个
400B的模型就仍在训练中，这是它的一个简单基准测试
我是AI技术巫，欢迎关注我，掌握第一手AI资讯与技巧！
- 作者:AI技术巫
- 链接:https://ilovetech.cn/article/ai_llama3
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
