为什么你下一个 14G 的模型,最后会卡在 99%
我把这件事查清楚了,问题不在你的网速。
一、先看清一个 HF 仓库到底有什么
拿 Qwen/Qwen2.5-7B-Instruct 举例,仓库里有 14 个文件、合计 14.2 GB:
model-00001-of-00004.safetensors 3762.7 MB
model-00002-of-00004.safetensors 3685.7 MB
model-00003-of-00004.safetensors 3685.7 MB
model-00004-of-00004.safetensors 3391.6 MB
tokenizer.json 6.7 MB
...(其余是 config、generation_config 等小文件)
看到两个关键词:分片(00001-of-00004)和 safetensors。
二、三个最常见的坑
坑 1:分片必须下全
少一个分片,加载时就报 safetensors 找不到 key。4 个分片缺 1 个 = 11G 白下。
坑 2:同一个仓库常放好几套权重
safetensors / bin / gguf / fp16 / fp8 并存,你只需要其中一套。
下两套就是双倍流量,而且通常第二套根本不用。
坑 3:99% 卡住不是网速,是最后一段没连上
大文件下载时,浏览器和多数下载器都是单连接。单连接被限速之后,
剩下的那 1% 会拖很久,看起来就像卡死。
三、我的做法
先查清单,再决定下什么;下的时候用多连接分段,每段独立校验。
这两步做完,同一个 14G 仓库的下完时间从"几小时"变成"几分钟"。
清单查询我做成了免费页,粘仓库名就行、不用登录:
https://turbofetch.cn/tools/hf?c=csdn
(如果你只想查清单,用那个页面就够;要批量下多个仓库、断点续传、校验 SHA,
我才自己写了客户端,那个是收费的,不买也能用免费页。)