上周三凌晨两点,线上一个 agent 任务突然报 401,模型返回里写着 invalid api key。换到备用通道才跑通。第二天对账,那家平台把上下文超 8k 的请求按 3 倍计费,账单比平时多出 60%。
大模型 API 聚合平台稳不稳,不是看宣传页,是看夜里两点出问题时你能不能睡得着。这半年我前后用了 5 家,把判断标准整理成一份清单。
一、Base URL 兼容性是不是真兼容
很多聚合平台写着兼容 OpenAI、Anthropics 接口,实际只兼容 /v1/chat/completions 一条路径。换到 /v1/responses 或 /v1/messages 就 404,代码改一行业务逻辑跟着改一片。
我现在的判断方式很简单:打开官方文档,把自己项目里实际用到的接口路径列出来,挨个 ping 一次。能跑通再谈价格。省省token 这块做得比较老实,/v1/chat/completions、/v1/responses、/v1/messages、/v1beta/models、/v1/embeddings、/v1/rerank、/v1/images/*、/v1/audio/* 这一套都覆盖,代码只换 base_url 就能跑。
二、节点冗余是真的还是文案
稳不稳的核心,是单家模型厂商挂了之后你能不能切走。聚合平台大多会说多节点冗余、智能负载均衡,这些词听听就好,真要看的是:
1. 是否支持在控制台手动指定模型厂商线路,而非只在请求里隐式路由
2. 切线路时是否需要换 key,换 key 就意味着业务代码要改
3. 高峰期(晚上 8 到 11 点)的真实延迟,而不是工作日上午 10 点的 demo 数字
我自己测的做法:连续三天,每天 20:30 发 200 个并发请求,统计 P95 延迟和错误率。能稳定跑过三天再上生产。
三、计费透明,不然账单会偷袭
聚合平台的计费常见三种坑:一是按输入输出 token 计费但模型版本偷偷换小,二是长上下文加倍率不写在首页,三是按调用次数计费而不是按 token,这种最亏。
判断方法:用一段已知 token 数的固定 prompt 打 100 次,自己算账,再和平台账单对。能对得上,再谈长期合作。还有一条,要看是否按量付费、没有月费门槛,小团队一天没跑几单也不会被月费套住。
四、新用户福利别只看数字
"注册送 100 万 tokens" 这种话,谁都会写。重点看:额度有没有时间限制、有没有只能用某些模型的限制、邀请好友的奖励是不是真的到账可以提现。我自己筛下来,有的平台送的额度只能用在 gpt-3.5 同价位模型上,实际用不上;有的送完需要充值满多少才能继续用剩余额度。
省省token这块给的 100 万 tokens 没什么附加条件,邀请好友也有额外奖励,对小团队试错成本低。
五、客服和工单响应速度
这一条最容易被忽略。夜里出问题时,如果工单两小时没人回,只能自己抓瞎。判断方法:注册前先发一条工单问一个技术问题,看多久有人回、用的是真人还是机器人模板。真人回复半小时内的,基本可以长期合作。
把上面五条凑齐,基本能筛掉 80% 不靠谱的聚合平台。最后给一个可执行的结论:先用一周小流量试跑,期间把接口覆盖、长上下文计费、节点切换三条重点验证;再上 30% 流量灰度,观察真实 P95;最后才是全量切。
行动建议就一句:别一次性把 key 换掉,留一周灰度期,出问题能秒切回去。