Llama 3权重下载:3步从零跑通对话推理
【免费下载链接】llama3The official Meta Llama 3 GitHub site项目地址: https://gitcode.com/GitHub_Trending/ll/llama3
等了20分钟权重下完,一校验却弹出checklist.chk: FAILED;或者邮件里的链接过了24小时,wget直接报403: Forbidden——这两种场景是Llama 3权重下载时最常见的新手坑。读完这篇,你能独立完成Llama 3权重下载并跑通对话推理,不用再翻官方文档。
读完你将带走:
- 官方 download.sh 脚本的完整流程,以及 Presigned URL 24小时过期的应对办法
- 官方渠道和 Hugging Face 渠道怎么选,一步选对不折腾
- 校验文件完整性、跑通模型推理的最短路径
一个能直接跑Llama 3推理的最小仓库
Meta Llama 3 这个仓库不是"模型动物园",而是一个最小可运行示例:llama/ 目录里是 PyTorch 推理实现,配了对话、文本补全两个示例脚本和一份下载脚本,覆盖 8B 到 70B 参数规模的预训练与指令微调版本。
先建立空间感,三个关键位置:
- 下载脚本:download.sh
- 对话示例:example_chat_completion.py
- 推理核心实现:llama/model.py
整个 Llama 3 权重下载流程拆成三步递进:先拿下载链接,再选渠道拉权重,最后校验并跑起来。
拿到24小时有效的下载链接
为什么先讲这个?因为后面所有下载动作都依赖这条链接,它一过期你白干。Presigned URL 是大白话说的"限时下载链接":你去 Meta Llama 官网申请、接受许可协议,审批通过后邮箱会收到一条带签名的下载地址,只有24小时有效、且限下载次数。
⚠️ 链接过期后任何渠道都救不了你,只能重新申请拿新链接。另外请手动从邮件正文里复制 URL,别点页面上的"Copy Link"按钮,两者签名参数不同。
选对渠道把权重拉下来
先装好依赖,requirements.txt 只有 torch、fairscale、fire、tiktoken、blobfile 五个包,顺手装掉:
git clone https://gitcode.com/GitHub_Trending/ll/llama3 cd llama3 && pip install -r requirements.txt权重从哪拉,按你的场景决策:
- 你要上生产环境、或者需要逐文件校验 → 走官方脚本
- 你只是开发测试、想快点下完 → 走 Hugging Face
官方脚本交互运行,粘贴邮件里的 URL,再输入要下的模型名(多个用逗号隔开、不要空格):
bash download.sh # 依次输入:邮件URL,然后模型名如 8B-instruct(回车默认下全部4个)脚本会自动下 .pth 权重分片、params.json、tokenizer.model 和 checklist.chk,下完直接跑一遍 md5 校验。
Hugging Face 渠道(先在对应模型页面接受许可):
huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct \ --include "original/*" --local-dir Meta-Llama-3-8B-Instruct⚠️ 只下
original/目录里的内容——那才是本仓库 llama/ 代码能直接加载的原生权重,safetensors 格式是给 transformers 用的,别混。
校验完整性并跑通推理
为什么先校验再跑?因为一次断网可能只损坏某个分片,不检查的话你等几小时才会在加载时报错。进模型目录执行:
cd Meta-Llama-3-8B-Instruct md5sum -c checklist.chk # 每行 OK 即通过全部 OK 后跑对话示例,8B 单卡即可,70B 需要把 nproc_per_node 改成 8:
torchrun --nproc_per_node 1 example_chat_completion.py \ --ckpt_dir Meta-Llama-3-8B-Instruct/ \ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \ --max_seq_len 512 --max_batch_size 6终端开始打印模型对 "what is the recipe of mayonnaise?" 的回答,说明整条链路通了。
1分钟自检
最快的验证动作就是上面那句md5sum -c checklist.chk的输出。你可能遇到这几种异常:
| 异常输出 | 原因 | 处理动作 |
|---|---|---|
| checklist.chk: FAILED | 网络中断导致分片损坏 | 删掉对应的 .pth 分片,重跑 bash download.sh(wget 支持断点续传) |
| 403: Forbidden | 链接超过24小时有效期 | 重新申请拿到新 Presigned URL |
| CUDA out of memory | 70B 单卡放不下 | 换 8B 模型,或把 nproc_per_node 提到 8 |
✅ 本文覆盖:申请 Presigned URL 并用 download.sh 下权重、Hugging Face 渠道拉 original 原生权重、md5sum 自检并 torchrun 跑通首轮对话。
下一步:打开 example_chat_completion.py,把 dialogs 里的默认问题换成你自己的问题再跑一遍。
⚠️ 使用模型须遵守 USE_POLICY.md 中的使用政策,禁止用于政策规定的敏感领域。
【免费下载链接】llama3The official Meta Llama 3 GitHub site项目地址: https://gitcode.com/GitHub_Trending/ll/llama3
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考