10 分钟跑通 FreeLLMAPI:免费 LLM API 路由安装配置教程
【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi
FreeLLMAPI 是一个免费 LLM API 路由:把34家 AI 提供商的免费额度汇成一个 OpenAI 兼容的 /v1 接口,背后是474个模型家族、635个免费端点,每月约74 亿 token的免费推理额度;某家限流就自动切下一家。走完你能拿到第一条免费回复,并把现有 OpenAI 代码接上它。
先跑起来:一行命令装好免费 LLM API 路由
前提是 Docker。这条命令替你建好~/freellmapi目录、生成加密密钥、拉镜像并启动容器:
curl -fsSL https://freellmapi.co/install.sh | bash✅ 成功标志:浏览器打开 http://localhost:3001 能进仪表盘,说明服务已在3001端口跑起来。命令可重复执行,重跑只升级到最新版,配置和加密密钥都保留。
接着进密钥页做三件事:把提供商密钥填进去(Google AI Studio、Groq、Mistral,或任意 OpenAI 兼容端点);在Fallback Chain里调整顺序,排靠前的优先被选;复制页头freellmapi-开头的统一密钥,之后你的应用只认这一把。
更可控的部署方式:Docker Compose 手动装
想先读代码再运行,clone 仓库后自己生成密钥并写进.env:
git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY="$(openssl rand -hex 32)" printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env docker compose up -dSQLite 会持久化到具名卷。升级时保持ENCRYPTION_KEY和卷不变,已加密的密钥不会解不开,细节见安装文档。
零命令行的方式:桌面应用
不想碰终端,就从 Releases 下载 macOS 的.dmg或 Windows 的.exe安装包。路由器连同仪表盘整体装进系统托盘:不需要设置任何账号密码,仪表盘自动登录,托盘弹窗里能看到实时请求统计。
看到它真的在转:用 Playground 验证第一次响应
先别写代码。打开Playground页,发一句"介绍一下你自己"。
回复气泡上直接标出这次实际由哪家提供商、哪个模型应答,以及延迟——路由确实在转,一眼可见。走接口的话,每个响应还带X-Routed-Via: 提供商/模型头,核对实际应答方不用猜。🎉 第一条免费回复到手。
接入你现有的代码:只改 2 个参数
只要你的代码走 OpenAI 协议,把base_url指向本地3001端口的 /v1、api_key换成统一密钥:
from openai import OpenAI client = OpenAI(base_url="http://localhost:3001/v1", api_key="freellmapi-你的统一密钥") resp = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "一句话介绍你自己"}], ) print(resp.choices[0].message.content)model填auto让路由器自己挑;auto:fast偏重速度、auto:smart偏重智能、auto:reliable偏重近期成功率,也可以直接写具体模型名。流式、工具调用、Embedding、图像/语音生成、Anthropic Messages 协议同样支持,清单见 API 参考。本地的 Ollama、vLLM、LM Studio 也能按 OpenAI 兼容端点挂进密钥页的自定义端点,和免费池一起参与路由。
它在背后怎么干活的:请求流转四步走
大白话:它不做推理,只做"派单"——每个请求进来,从池子里挑当前最优的免费模型去答。
- 打分选模:路由器对池内所有已启用模型按可靠性、速度、智能三个实时轴打分(可靠性用近7 天、2 天半衰期的衰减加权样本做 Thompson 采样),分最高的接单
- 应答与标记:命中的模型直接应答,响应带上
X-Routed-Via: 提供商/模型头供你核对 - 失败处理:命中 429 或 5xx 时,该密钥进入升级冷却(2 分钟→10 分钟→1 小时→24 小时),请求自动落到链路下一个
- 配额统计:每次调用都计入按(提供商、模型、密钥)维度的 RPM/RPD/TPM/TPD 账本,让你始终停在各家免费上限之内
打分逻辑在 server/src/services/router.ts,冷却重试循环在 server/src/lib/fallback-loop.ts。
日常要盯的三个页面:密钥、Models、Analytics
- 密钥页:提供商密钥的增删与状态、Fallback Chain 顺序、统一密钥发放,都在这
- Models页:路由透视,每个模型带可靠性/速度/智能三个实时评分,列表顺序就是当前的真实路由顺序,整池月度 token 预算也在这里看
- Analytics页:请求量、成功率、token 进出、按提供商拆分,延迟给到 p50/p95 和首 token 时间,数据默认保留90 天(或 10 万条请求,先到为准)
⚠️ 高频问题:
- 忘记密码了?点登录页Forgot password?,重置码打印在服务器日志里,15 分钟内有效
- 局域网别的设备想访问?默认只绑
127.0.0.1,用HOST_BIND=0.0.0.0启动可暴露,仅限可信网络 - 日志在哪?Docker 用
docker compose logs -f freellmapi,桌面版在托盘菜单Open Logs Folder - 密钥安全吗?提供商密钥用AES-256-GCM加密存在本地 SQLite,每次请求时才在内存中解密,仪表盘不露明文
边界:什么时候不该用它
这套免费池的定位是个人实验与学习:免费层没有 SLA,没有前沿模型,延迟会波动,一天内头部模型撞上每日上限后端点的有效智能会往下掉,UTC 午夜重置。真要上线的产品,发布前把密钥池换成付费 API。
接下来可以做的三件事
- 把 Claude Code、Codex CLI、Cline 这类编程智能体指过来,一条 setup 命令自动备份并合并现有配置,配方在客户端与编程智能体文档
- 请求虚拟模型
fusion:多个免费模型并行起草,再由裁判模型合成一份答案,说明见 Fusion 多模型合成 - 想读源码,从路由与评分架构文档入手,配合 server/src/services/router.ts 看评分怎么算
【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考