企业官网建设流程全解析

1. 从标题拆解这次评测的真实意图

1.1 为什么"GPT-6 Sol + AI SDK + Evaluation API"是一个值得认真对待的组合

先把标题里的三个关键词拆开看。GPT-6 Sol是这次要评测的目标模型，AI SDK是调用层，Evaluation API是评测层。这三者凑在一起，本质上是在回答一个很实际的问题：当一个新的模型接入到现有的 AI SDK 调用链路里，它的真实表现到底怎么样，值不值得替换掉现在正在用的模型。

我见过太多人评测模型的方式就是打开网页版，随便问几个问题，觉得"嗯，回答挺流畅的"，然后就下结论了。这种方式的问题在于，你测的是聊天体验，不是工程可用性。真正决定一个模型能不能上生产的，是它在结构化输出、工具调用、多轮上下文保持、错误恢复这些维度上的表现。而这些维度，只有通过 Evaluation API 做批量、可复现的测试才能看清楚。

AI SDK 在这里扮演的角色是"统一调用层"。它的价值在于，你不需要为每个模型单独写一套请求逻辑。同一个generateText或者generateObject调用，换个模型标识就能跑。这意味着评测的成本被大幅降低了——你写好一套评测用例，可以横向跑多个模型，直接对比结果。

注意：评测一个新模型时，最大的陷阱是"只测它擅长的"。一定要用你实际业务里最常出现的任务类型去测，而不是用模型官方 demo 里那些精心挑选的例子。

1.2 这篇内容适合谁看

如果你属于以下几类人，这篇内容应该能帮你省不少时间：

• 正在做模型选型，需要在几个候选模型之间做决策的工程师
• 已经在用 AI SDK 做开发，想接入新模型但不确定兼容性的人
• 想搭建一套可复现的模型评测流程，而不是靠感觉判断的团队
• 对 Evaluation API 感兴趣，但还没实际跑通过完整流程的开发者

我会按照"设计思路 → 核心细节 → 实操过程 → 问题排查"的顺序来讲，每一步都尽量给出可以直接抄的配置和代码。评测这件事，方法论比结论重要，因为模型迭代太快了，今天测出来的结论下个月可能就变了，但一套好的评测流程可以一直用下去。

2. 评测方案的整体设计与选型考量

2.1 为什么选 AI SDK 作为调用层而不是直接写 HTTP 请求

直接调 API 当然可以，curl 一把梭，什么依赖都不用装。但一旦你要评测的模型超过两个，或者评测用例超过二十条，裸写 HTTP 请求的维护成本就会爆炸。每个模型的请求体格式、认证方式、流式返回的解析逻辑都可能不一样，你会在适配层上花掉大量时间，而不是在评测本身。

AI SDK 的核心优势是抽象层统一。它把不同模型的调用差异封装在 provider 里，上层业务代码只面对统一的接口。我实测下来，用 AI SDK 写评测脚本，代码量大概是自己写适配层的三分之一，而且换模型的时候只需要改一行配置。

另一个考虑是结构化输出。评测里经常需要模型返回 JSON 格式的结果，方便程序自动打分。AI SDK 的generateObject配合 schema 定义，能强制模型按指定结构输出，省掉了大量解析和容错代码。这一点在批量评测时特别重要，因为只要有一条返回格式不对，整个批处理就可能中断。

2.2 Evaluation API 的定位：它解决的是什么问题

很多人对 Evaluation API 有误解，以为它是"自动帮你判断模型好不好"的工具。不是的。Evaluation API 提供的是标准化的评测执行框架——它负责把你的测试用例批量发给模型、收集返回结果、按照你定义的评分逻辑计算指标。至于"什么算好"，那是你自己要定义的事情。

我选择用 Evaluation API 而不是自己写循环调用的原因有三个：

第一，可复现性。每次评测的输入、参数、评分逻辑都被记录下来，换个人跑或者过一周再跑，结果是一致的。自己写脚本很容易出现"这次忘了固定 temperature"之类的低级错误。

第二，指标计算自动化。准确率、一致性、延迟分布这些指标，Evaluation API 能直接算出来，不用自己写统计代码。

第三，对比友好。同一套评测集跑多个模型，结果直接并排展示，省掉了手动整理对比表的工作。

2.3 评测维度的设计：测什么比怎么测更重要

我最终确定的评测维度是四个，每个维度对应一类实际业务场景：

权重的分配不是拍脑袋定的，而是根据我实际业务里各类任务的调用量占比来的。如果你的业务以实时对话为主，那延迟的权重就应该调高；如果以批处理抽取为主，那结构化输出的权重就是第一位的。

提示：评测维度不要贪多。我一开始设计了八个维度，结果每个维度只跑了几十条用例，统计意义很弱。后来砍到四个，每个维度跑两百条以上，结论才站得住。

3. 核心细节解析与实操要点

3.1 环境准备与依赖安装

先把基础环境搭起来。我用的是 Node.js 环境，版本建议 18 以上，因为 AI SDK 的一些依赖用到了较新的运行时特性。

npm install ai @ai-sdk/openai npm install -D vitest

这里有个坑要提前说。安装全局包的时候，Windows 环境下经常会遇到权限报错，类似npm:无法加载文件这种。解决办法是以管理员身份运行终端，或者干脆用 npx 代替全局安装。我现在的习惯是尽量不装全局包，全部走项目本地依赖，避免不同项目之间的版本冲突。

API Key 的管理也要注意。不要硬编码在代码里，用环境变量：

export OPENAI_API_KEY="your-key-here"

在代码里通过process.env.OPENAI_API_KEY读取。如果你用.env文件，记得把它加进.gitignore，这个低级错误我见过太多次了。

3.2 评测用例的数据结构设计

评测用例的设计直接决定了评测结果的价值。我的做法是每条用例包含五个字段：

{ id: "extract-001", category: "structured-output", input: "从下面这段文本中抽取公司名称、成立年份和主营业务...", expected: { company: "示例科技", founded: 2015, business: "企业级软件服务" }, scoring: "exact-match" }

category字段用于分组统计，expected是标准答案，scoring指定这条用例用哪种评分逻辑。这样设计的好处是，一个评测集里可以混合多种任务类型，跑完之后按 category 分组看结果，一目了然。

用例数量上，我的经验是每个维度至少 200 条。少于这个数量，单条用例的波动会严重影响整体指标。如果时间有限，宁可减少维度，也不要减少每个维度的用例数。

3.3 调用层的封装：让换模型变成改一行

这是 AI SDK 最舒服的地方。我把模型调用封装成一个函数：

import { generateObject } from 'ai'; import { openai } from '@ai-sdk/openai'; import { z } from 'zod'; const schema = z.object({ company: z.string(), founded: z.number(), business: z.string() }); async function runCase(testCase, modelId) { const result = await generateObject({ model: openai(modelId), schema, prompt: testCase.input, temperature: 0 }); return result.object; }

注意temperature: 0这个设置。评测场景下必须固定为 0，否则同样的输入每次返回都不一样，评测结果就没有可比性了。这个参数我踩过坑——有一次忘了设，跑了两遍结果差异很大，排查了半天才发现是温度的问题。

换模型的时候，只需要把modelId从"gpt-6-sol"改成别的就行，其他代码完全不用动。这就是统一调用层的价值。

3.4 评分逻辑的实现要点

评分逻辑分两种：精确匹配和语义匹配。

精确匹配用于结构化输出，直接比对字段值：

function exactMatch(output, expected) { const keys = Object.keys(expected); const matched = keys.filter(k => output[k] === expected[k]).length; return matched / keys.length; }

语义匹配用于开放式问答，我一般用另一个模型来做裁判，或者用关键词召回率来近似。关键词召回率的实现更简单也更稳定：

function keywordRecall(output, keywords) { const text = JSON.stringify(output).toLowerCase(); const hit = keywords.filter(k => text.includes(k.toLowerCase())).length; return hit / keywords.length; }

注意：用模型做裁判听起来很高级，但实际用下来稳定性不如关键词召回。模型裁判本身也有波动，而且成本高。除非你的评测任务确实需要理解语义，否则优先用规则评分。

4. 完整实操流程与关键环节实现

4.1 第一步：跑通单条用例

不要一上来就跑全量。先用一条最简单的用例，把整条链路跑通，确认 API Key 有效、模型能调通、返回格式符合预期。

const testCase = { id: "smoke-001", input: "抽取：示例科技成立于2015年，主营企业级软件服务。", expected: { company: "示例科技", founded: 2015, business: "企业级软件服务" } }; const output = await runCase(testCase, "gpt-6-sol"); console.log(output); console.log("得分:", exactMatch(output, testCase.expected));

这一步的目的是排除环境问题。如果这里就报错，那大概率是 Key 的问题或者模型标识写错了，跟评测逻辑无关。我习惯把这一步叫做"冒烟测试"，每次换环境都先跑一遍。

4.2 第二步：批量执行与并发控制

单条跑通之后，就可以批量执行了。但这里有个关键点：并发数要控制。一次性发几百个请求，很容易触发速率限制，导致大量请求失败，评测结果不可信。

我的做法是用一个简单的并发池，控制在 5 到 10 之间：

async function runBatch(cases, modelId, concurrency = 5) { const results = []; for (let i = 0; i < cases.length; i += concurrency) { const batch = cases.slice(i, i + concurrency); const batchResults = await Promise.all( batch.map(async (c) => { const start = Date.now(); try { const output = await runCase(c, modelId); return { id: c.id, category: c.category, output, score: exactMatch(output, c.expected), latency: Date.now() - start, error: null }; } catch (e) { return { id: c.id, category: c.category, output: null, score: 0, latency: Date.now() - start, error: e.message }; } }) ); results.push(...batchResults); } return results; }

注意每个请求都包了 try-catch，把错误记录下来而不是让整个批次崩掉。评测过程中出现个别失败是正常的，关键是要知道失败了多少、失败的原因是什么。

4.3 第三步：指标计算与结果汇总

跑完之后，按 category 分组计算指标：

function summarize(results) { const byCategory = {}; for (const r of results) { if (!byCategory[r.category]) { byCategory[r.category] = { scores: [], latencies: [], errors: 0 }; } byCategory[r.category].scores.push(r.score); byCategory[r.category].latencies.push(r.latency); if (r.error) byCategory[r.category].errors++; } const summary = {}; for (const [cat, data] of Object.entries(byCategory)) { const sorted = [...data.latencies].sort((a, b) => a - b); summary[cat] = { avgScore: (data.scores.reduce((a, b) => a + b, 0) / data.scores.length).toFixed(3), p50Latency: sorted[Math.floor(sorted.length * 0.5)], p95Latency: sorted[Math.floor(sorted.length * 0.95)], errorRate: (data.errors / data.scores.length).toFixed(3) }; } return summary; }

P95 延迟这个指标特别值得关注。平均值好看不代表体验好，如果 5% 的请求延迟特别高，用户是会明显感知到的。我一般会同时看 P50 和 P95，两个都达标才算过关。

4.4 第四步：横向对比与结论输出

同一套用例跑完多个模型之后，把结果并排放在一起：

看到这张表，结论就很清楚了。GPT-6 Sol 在结构化输出上有优势，工具调用略逊于对照模型A，长上下文介于两者之间，延迟和稳定性表现良好。如果你的业务以信息抽取为主，它是个好选择；如果以 Agent 编排为主，可能还要再权衡。

提示：对比表里不要只放一个总分。分维度看才能发现模型的"性格"——有的模型全面均衡，有的模型偏科严重。偏科的模型在特定场景下反而更好用。

5. 常见问题与排查技巧实录

5.1 调用失败类问题速查

429 是最常见的。我的处理方式是加一个指数退避的重试：

async function withRetry(fn, maxRetries = 3) { for (let i = 0; i < maxRetries; i++) { try { return await fn(); } catch (e) { if (e.status === 429 && i < maxRetries - 1) { await new Promise(r => setTimeout(r, Math.pow(2, i) * 1000)); continue; } throw e; } } }

5.2 结果不可信类问题

比调用失败更麻烦的是"跑通了但结果不对"。常见的情况有几种：

温度没固定。前面提过，这是最隐蔽的问题。表现是同样的用例跑两遍结果差异很大。解决办法就是强制temperature: 0。

用例本身有歧义。比如"抽取公司名称"，但输入文本里出现了两个公司名。这种用例的标准答案本身就不唯一，模型答对了也可能被判错。解决办法是写用例的时候就想清楚，一条用例只考一个点。

评分逻辑太严。比如模型返回2015而标准答案是"2015"，类型不同就被判错。解决办法是在比对前做类型归一化。

注意：评测跑完之后，一定要人工抽查一批"失败"的用例。我遇到过好几次，模型其实答对了，是评分逻辑误判。如果不抽查，就会得出错误的结论。

5.3 成本控制的实操心得

评测是要花钱的，尤其是用例多、模型多的时候。几个省钱的办法：

第一，先用小样本试跑。全量 200 条之前，先跑 20 条，确认流程没问题再全量。避免因为一个配置错误，白白烧掉几百次调用。

第二，缓存结果。同样的用例和模型，跑过一次就把结果存下来，不要重复跑。我一般存成 JSON 文件，按模型名_用例id命名。

第三，优先测关键维度。如果预算有限，先测结构化输出和工具调用这两个最影响工程可用性的维度，长上下文和延迟可以后补。

6. 我在实际评测中踩过的坑与经验总结

6.1 关于模型标识的那些坑

模型标识看起来是最简单的事情，但恰恰是最容易出错的。不同 provider 对同一个模型的命名可能不一样，有的带版本号，有的不带，有的用连字符有的用下划线。我的建议是，第一次接入某个模型时，先用官方文档里给的标识跑一条冒烟测试，确认能通再批量跑。

另外，有些模型有多个变体，比如带日期后缀的稳定版和最新的预览版。评测的时候要明确你测的是哪个变体，否则结果没法复现。我一般会在结果文件里记录完整的模型标识和调用时间。

6.2 关于评测集维护的建议

评测集不是一次性的东西，它是会随着业务演进的。我现在的做法是维护一个"核心评测集"，大概 100 条，覆盖最关键的场景，每次模型更新都跑一遍。另外维护一个"扩展评测集"，覆盖边缘场景，不定期跑。

核心评测集的用例要稳定，不要频繁改动，否则历史结果就没法对比了。扩展评测集可以灵活增删，用来探索新场景。

6.3 一个容易被忽略的细节：错误用例的价值

大部分人评测只看通过率，忽略了失败用例。但实际上，失败用例里藏着最有价值的信息。模型在什么类型的输入上容易出错？错误是格式问题还是理解问题？这些信息直接指导你后续怎么设计 prompt、怎么加校验。

我现在的习惯是，每次评测完，把失败用例单独导出来，按错误类型分类，然后针对性地优化。这个习惯帮我发现了好几个 prompt 设计上的系统性问题。

6.4 最后分享一个提效小技巧

如果你要频繁跑评测，建议把整个流程脚本化，一条命令跑完"加载用例 → 批量调用 → 计算指标 → 输出报告"。我现在用的是 npm script：

{ "scripts": { "eval": "node scripts/run-eval.js", "eval:smoke": "node scripts/run-eval.js --smoke" } }

eval:smoke只跑几条用例做冒烟测试，eval跑全量。这样切换起来很方便，不用每次手动改代码。评测这件事，流程越顺，你越愿意频繁跑，而频繁跑恰恰是保证模型选型决策质量的关键。