Llama 3权重下载:3步从零跑通对话推理
2026/9/14 1:46:31 网站建设 项目流程

Llama 3权重下载:3步从零跑通对话推理

【免费下载链接】llama3The official Meta Llama 3 GitHub site项目地址: https://gitcode.com/GitHub_Trending/ll/llama3

等了20分钟权重下完,一校验却弹出checklist.chk: FAILED;或者邮件里的链接过了24小时,wget直接报403: Forbidden——这两种场景是Llama 3权重下载时最常见的新手坑。读完这篇,你能独立完成Llama 3权重下载并跑通对话推理,不用再翻官方文档。

读完你将带走:

  • 官方 download.sh 脚本的完整流程,以及 Presigned URL 24小时过期的应对办法
  • 官方渠道和 Hugging Face 渠道怎么选,一步选对不折腾
  • 校验文件完整性、跑通模型推理的最短路径

一个能直接跑Llama 3推理的最小仓库

Meta Llama 3 这个仓库不是"模型动物园",而是一个最小可运行示例:llama/ 目录里是 PyTorch 推理实现,配了对话、文本补全两个示例脚本和一份下载脚本,覆盖 8B 到 70B 参数规模的预训练与指令微调版本。

先建立空间感,三个关键位置:

  • 下载脚本:download.sh
  • 对话示例:example_chat_completion.py
  • 推理核心实现:llama/model.py

整个 Llama 3 权重下载流程拆成三步递进:先拿下载链接,再选渠道拉权重,最后校验并跑起来。

拿到24小时有效的下载链接

为什么先讲这个?因为后面所有下载动作都依赖这条链接,它一过期你白干。Presigned URL 是大白话说的"限时下载链接":你去 Meta Llama 官网申请、接受许可协议,审批通过后邮箱会收到一条带签名的下载地址,只有24小时有效、且限下载次数。

⚠️ 链接过期后任何渠道都救不了你,只能重新申请拿新链接。另外请手动从邮件正文里复制 URL,别点页面上的"Copy Link"按钮,两者签名参数不同。

选对渠道把权重拉下来

先装好依赖,requirements.txt 只有 torch、fairscale、fire、tiktoken、blobfile 五个包,顺手装掉:

git clone https://gitcode.com/GitHub_Trending/ll/llama3 cd llama3 && pip install -r requirements.txt

权重从哪拉,按你的场景决策:

  • 你要上生产环境、或者需要逐文件校验 → 走官方脚本
  • 你只是开发测试、想快点下完 → 走 Hugging Face

官方脚本交互运行,粘贴邮件里的 URL,再输入要下的模型名(多个用逗号隔开、不要空格):

bash download.sh # 依次输入:邮件URL,然后模型名如 8B-instruct(回车默认下全部4个)

脚本会自动下 .pth 权重分片、params.json、tokenizer.model 和 checklist.chk,下完直接跑一遍 md5 校验。

Hugging Face 渠道(先在对应模型页面接受许可):

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct \ --include "original/*" --local-dir Meta-Llama-3-8B-Instruct

⚠️ 只下original/目录里的内容——那才是本仓库 llama/ 代码能直接加载的原生权重,safetensors 格式是给 transformers 用的,别混。

校验完整性并跑通推理

为什么先校验再跑?因为一次断网可能只损坏某个分片,不检查的话你等几小时才会在加载时报错。进模型目录执行:

cd Meta-Llama-3-8B-Instruct md5sum -c checklist.chk # 每行 OK 即通过

全部 OK 后跑对话示例,8B 单卡即可,70B 需要把 nproc_per_node 改成 8:

torchrun --nproc_per_node 1 example_chat_completion.py \ --ckpt_dir Meta-Llama-3-8B-Instruct/ \ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \ --max_seq_len 512 --max_batch_size 6

终端开始打印模型对 "what is the recipe of mayonnaise?" 的回答,说明整条链路通了。

1分钟自检

最快的验证动作就是上面那句md5sum -c checklist.chk的输出。你可能遇到这几种异常:

异常输出原因处理动作
checklist.chk: FAILED网络中断导致分片损坏删掉对应的 .pth 分片,重跑 bash download.sh(wget 支持断点续传)
403: Forbidden链接超过24小时有效期重新申请拿到新 Presigned URL
CUDA out of memory70B 单卡放不下换 8B 模型,或把 nproc_per_node 提到 8

✅ 本文覆盖:申请 Presigned URL 并用 download.sh 下权重、Hugging Face 渠道拉 original 原生权重、md5sum 自检并 torchrun 跑通首轮对话。

下一步:打开 example_chat_completion.py,把 dialogs 里的默认问题换成你自己的问题再跑一遍。

⚠️ 使用模型须遵守 USE_POLICY.md 中的使用政策,禁止用于政策规定的敏感领域。

【免费下载链接】llama3The official Meta Llama 3 GitHub site项目地址: https://gitcode.com/GitHub_Trending/ll/llama3

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询