☰
10 分钟跑通 FreeLLMAPI:免费 LLM API 路由安装配置教程
2026/10/19 3:30:26 网站建设 项目流程

10 分钟跑通 FreeLLMAPI:免费 LLM API 路由安装配置教程

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi

FreeLLMAPI 是一个免费 LLM API 路由:把34家 AI 提供商的免费额度汇成一个 OpenAI 兼容的 /v1 接口,背后是474个模型家族、635个免费端点,每月约74 亿 token的免费推理额度;某家限流就自动切下一家。走完你能拿到第一条免费回复,并把现有 OpenAI 代码接上它。

先跑起来:一行命令装好免费 LLM API 路由

前提是 Docker。这条命令替你建好~/freellmapi目录、生成加密密钥、拉镜像并启动容器:

curl -fsSL https://freellmapi.co/install.sh | bash

✅ 成功标志:浏览器打开 http://localhost:3001 能进仪表盘,说明服务已在3001端口跑起来。命令可重复执行,重跑只升级到最新版,配置和加密密钥都保留。

接着进密钥页做三件事:把提供商密钥填进去(Google AI Studio、Groq、Mistral,或任意 OpenAI 兼容端点);在Fallback Chain里调整顺序,排靠前的优先被选;复制页头freellmapi-开头的统一密钥,之后你的应用只认这一把。

更可控的部署方式:Docker Compose 手动装

想先读代码再运行,clone 仓库后自己生成密钥并写进.env:

git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY="$(openssl rand -hex 32)" printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env docker compose up -d

SQLite 会持久化到具名卷。升级时保持ENCRYPTION_KEY和卷不变,已加密的密钥不会解不开,细节见安装文档。

零命令行的方式:桌面应用

不想碰终端,就从 Releases 下载 macOS 的.dmg或 Windows 的.exe安装包。路由器连同仪表盘整体装进系统托盘:不需要设置任何账号密码,仪表盘自动登录,托盘弹窗里能看到实时请求统计。

看到它真的在转:用 Playground 验证第一次响应

先别写代码。打开Playground页,发一句"介绍一下你自己"。

回复气泡上直接标出这次实际由哪家提供商、哪个模型应答,以及延迟——路由确实在转,一眼可见。走接口的话,每个响应还带X-Routed-Via: 提供商/模型头,核对实际应答方不用猜。🎉 第一条免费回复到手。

接入你现有的代码:只改 2 个参数

只要你的代码走 OpenAI 协议,把base_url指向本地3001端口的 /v1、api_key换成统一密钥:

from openai import OpenAI client = OpenAI(base_url="http://localhost:3001/v1", api_key="freellmapi-你的统一密钥") resp = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "一句话介绍你自己"}], ) print(resp.choices[0].message.content)

model填auto让路由器自己挑;auto:fast偏重速度、auto:smart偏重智能、auto:reliable偏重近期成功率,也可以直接写具体模型名。流式、工具调用、Embedding、图像/语音生成、Anthropic Messages 协议同样支持,清单见 API 参考。本地的 Ollama、vLLM、LM Studio 也能按 OpenAI 兼容端点挂进密钥页的自定义端点,和免费池一起参与路由。

它在背后怎么干活的:请求流转四步走

大白话:它不做推理,只做"派单"——每个请求进来,从池子里挑当前最优的免费模型去答。

  1. 打分选模:路由器对池内所有已启用模型按可靠性、速度、智能三个实时轴打分(可靠性用近7 天、2 天半衰期的衰减加权样本做 Thompson 采样),分最高的接单
  2. 应答与标记:命中的模型直接应答,响应带上X-Routed-Via: 提供商/模型头供你核对
  3. 失败处理:命中 429 或 5xx 时,该密钥进入升级冷却(2 分钟→10 分钟→1 小时→24 小时),请求自动落到链路下一个
  4. 配额统计:每次调用都计入按(提供商、模型、密钥)维度的 RPM/RPD/TPM/TPD 账本,让你始终停在各家免费上限之内

打分逻辑在 server/src/services/router.ts,冷却重试循环在 server/src/lib/fallback-loop.ts。

日常要盯的三个页面:密钥、Models、Analytics

  • 密钥页:提供商密钥的增删与状态、Fallback Chain 顺序、统一密钥发放,都在这
  • Models页:路由透视,每个模型带可靠性/速度/智能三个实时评分,列表顺序就是当前的真实路由顺序,整池月度 token 预算也在这里看
  • Analytics页:请求量、成功率、token 进出、按提供商拆分,延迟给到 p50/p95 和首 token 时间,数据默认保留90 天(或 10 万条请求,先到为准)

⚠️ 高频问题:

  • 忘记密码了?点登录页Forgot password?,重置码打印在服务器日志里,15 分钟内有效
  • 局域网别的设备想访问?默认只绑127.0.0.1,用HOST_BIND=0.0.0.0启动可暴露,仅限可信网络
  • 日志在哪?Docker 用docker compose logs -f freellmapi,桌面版在托盘菜单Open Logs Folder
  • 密钥安全吗?提供商密钥用AES-256-GCM加密存在本地 SQLite,每次请求时才在内存中解密,仪表盘不露明文

边界:什么时候不该用它

这套免费池的定位是个人实验与学习:免费层没有 SLA,没有前沿模型,延迟会波动,一天内头部模型撞上每日上限后端点的有效智能会往下掉,UTC 午夜重置。真要上线的产品,发布前把密钥池换成付费 API。

接下来可以做的三件事

  • 把 Claude Code、Codex CLI、Cline 这类编程智能体指过来,一条 setup 命令自动备份并合并现有配置,配方在客户端与编程智能体文档
  • 请求虚拟模型fusion:多个免费模型并行起草,再由裁判模型合成一份答案,说明见 Fusion 多模型合成
  • 想读源码,从路由与评分架构文档入手,配合 server/src/services/router.ts 看评分怎么算

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询