【免费下载链接】skill
PinchBench is a benchmarking system for evaluating LLM models as OpenClaw coding agents. Made with 🦀 by the humans at https://kilo.ai
PinchBench 是一款用于评估 LLM 模型作为 OpenClaw 编码代理(Coding Agent)表现的开源基准测试系统。本文将面向新手,手把手带你完成 PinchBench 的安装与环境搭建:如何配置 Python 3.10 与 uv 包管理器、如何安装 OpenClaw 代理、如何配置 API Key,并最终成功运行你的第一个基准测试任务。
认识 PinchBench:它测的是什么?
PinchBench 不考"死知识",而是把真实任务直接丢给 AI 代理去完成:写代码、管理文件、分析数据、处理日程……再自动为结果打分。它重点考察四方面能力:
- 工具调用——能否用对参数调用正确的工具
- 多步推理——能否串联多个动作完成复杂任务
- 真实混乱场景——能否处理模糊指令和不完整信息
- 实际产出——文件是否真的创建、任务是否真的完成
内置任务覆盖生产力、研究、写作、编码、数据分析等多个类别,任务定义统一放在 tasks/ 目录下,每个任务都是一个独立的 Markdown 文件。
💡 为什么需要本地环境?因为 PinchBench 会在你的机器上启动一个真实的 OpenClaw 代理来"应试",所以 Python、uv 和 OpenClaw 三件套缺一不可。
环境搭建前检查清单
在开始之前,请确认你的机器满足以下要求(完整依赖声明见 pyproject.toml):
| 组件 | 版本要求 | 用途 |
|---|---|---|
| Python | 3.10 及以上 | 运行基准测试脚本 |
| uv | 最新版 | 快速管理 Python 依赖与运行环境 |
| Node.js | 22 及以上 | 运行 OpenClaw 代理 |
| OpenClaw | 最新版 | 被测 AI 代理的运行时 |
| 模型 API Key | — | 调用 LLM 模型(OpenRouter / Anthropic / OpenAI 等) |
第一步:确认 Python 3.10 并安装 uv
1. 检查 Python 版本
python3 --versionpyproject.toml中明确声明了requires-python = ">=3.10",版本低于 3.10 时需要先升级系统 Python。
2. 安装 uv 包管理器
uv 是极速 Python 包管理器,一条命令即可完成安装(与官方 Dockerfile.benchmark 中的安装方式一致):
curl -LsSf https://astral.sh/uv/install.sh | sh安装完成后验证:
uv --versionuv 的优势在于自动处理依赖隔离:运行脚本时它会自动创建并缓存一个干净的 Python 环境,你无需手动管理pip或虚拟环境。本项目运行所需的核心依赖(如pyyaml、fabric、paramiko)都会由 uv 按需安装。
第二步:安装 OpenClaw 代理
OpenClaw 是被测模型的"身体"——它负责执行工具调用、读写文件、完成代理任务。PinchBench 需要一台运行中的 OpenClaw 实例。
OpenClaw 基于 Node.js 运行,请先确保 Node.js 版本 ≥ 22,然后全局安装:
npm install -g openclaw验证安装结果:
openclaw --version⚠️ 如果提示
openclaw: command not found,说明 npm 全局目录不在 PATH 中,可将npm config get prefix输出的/bin路径加入 PATH 环境变量。
第三步:克隆 PinchBench 仓库
git clone https://gitcode.com/gh_mirrors/skill1/skill cd skill克隆完成后,先了解关键目录,方便后续排查问题:
| 目录/文件 | 说明 |
|---|---|
| scripts/ | 执行入口与核心逻辑,含一键脚本 run.sh 和主程序 benchmark.py |
| tasks/ | 所有基准测试任务定义(Markdown 格式),任务格式模板为 TASK_TEMPLATE.md |
| assets/ | 任务素材:CSV 数据集、PDF、会议纪要、图片等 |
| SKILL.md | 技能说明文档,含完整命令行选项 |
| Dockerfile.benchmark | 预装 OpenClaw 的 Docker 运行镜像定义 |
配置模型 API Key 环境变量
PinchBench 支持多家模型服务商,模型 ID必须携带服务商前缀。不同前缀对应不同的环境变量(详见 scripts/lib_agent.py 中的读取逻辑):
| 模型前缀 | 需配置的环境变量 |
|---|---|
openrouter/(默认路由) | OPENROUTER_API_KEY |
anthropic/ | ANTHROPIC_API_KEY |
openai/ | OPENAI_API_KEY |
kilo/ | KILO_API_KEY |
以 OpenRouter 为例(它是默认的模型路由通道):
export OPENROUTER_API_KEY=your_api_key_here📌 小贴士:若未设置
OPENROUTER_API_KEY,程序会跳过模型有效性校验并给出警告;但实际跑分仍需有效的 Key。
首次运行:一键启动基准测试
一切就绪后,使用仓库自带的便捷脚本 scripts/run.sh 启动(它会自动通过 uv 运行 scripts/benchmark.py):
# 运行完整测试套件 ./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4建议首次运行只跑一两个任务,快速验证环境是否正常:
./scripts/run.sh --model openrouter/openai/gpt-4o --suite task_sanity,task_calendar运行过程中你会看到终端打印任务进度与分类得分摘要;结果 JSON 默认保存到results/目录,每个任务的完整对话记录会归档到results/{run_id}_transcripts/,便于事后分析。
常用参数速查(完整列表见 README.md 的 Command Reference 表格):
| 参数 | 作用 |
|---|---|
--suite all / automated-only / 任务ID列表 | 选择运行范围,automated-only更快 |
--no-upload | 只在本地看结果,不上传排行榜 |
--runs N | 每个任务重复 N 次取平均,结果更稳定 |
--timeout-multiplier N | 为响应较慢的模型放大超时时间 |
--output-dir DIR | 指定结果输出目录(默认results/) |
--register | 一次性注册 API Token,用于提交排行榜 |
常见问题快速排查
| 现象 | 可能原因与解决办法 |
|---|---|
提示Model 'xxx' not found | 模型 ID 缺少服务商前缀,请检查是否为openrouter/...格式 |
uv: command not found | 重新打开终端,或将~/.local/bin加入 PATH |
openclaw找不到 | OpenClaw 未安装或未加入 PATH,重跑npm install -g openclaw |
| 任务频繁超时 | 使用--timeout-multiplier 2放大超时阈值 |
| 得分波动大 | 增加--runs 3取多次平均 |
进阶:用 Docker 一键搭建
如果你不想在宿主机上折腾 Node.js 和依赖,仓库提供了 Dockerfile.benchmark,基于node:22-bookworm镜像,已预装 Python、uv 和 OpenClaw:
# 构建基准测试运行镜像 docker build -f Dockerfile.benchmark -t pinchbench-runner .镜像默认工作目录为/workspace,并预创建了/root/.openclaw配置目录,把仓库内容挂载进去即可直接运行,非常适合 CI 场景或想保持系统干净的用户。
小结
回顾一下 PinchBench 环境搭建的完整路径:
- ✅ 确认 Python ≥ 3.10,安装 uv 包管理器
- ✅ 安装 Node.js 22+ 与 OpenClaw 代理
- ✅ 克隆仓库,配置模型 API Key 环境变量
- ✅ 用
./scripts/run.sh --model ...跑通第一个任务
配置完成后,你还可以参考 tasks/TASK_TEMPLATE.md 贡献自己的测试任务,或用--register注册 Token 把成绩提交到公开排行榜。祝你在 PinchBench 的基准测试之旅中一切顺利!🦀
【免费下载链接】skill
PinchBench is a benchmarking system for evaluating LLM models as OpenClaw coding agents. Made with 🦀 by the humans at https://kilo.ai
相关推荐
python-apple-fm-sdk安装配置完整指南:macOS 26 + Xcode 26 + Python 3.10环境搭建与避坑清单
python apple fm sdk安装配置完整指南:macOS 26 + Xcode 26 + Python 3.10环境搭建与避坑清单 本文是 pytho
Universal-G-Code-Sender G代码处理器详解:从解析到执行的完整流程
Universal G Code Sender G代码处理器详解:从解析到执行的完整流程 Universal G Code Sender(UGS)是一款跨平台的
桌面应用智能硬件硬件开发图形学Verba 环境搭建实战:从 Python 安装到虚拟环境配置的完整指南
Verba 环境搭建实战:从 Python 安装到虚拟环境配置的完整指南 Verba(The Golden RAGtriever)是一个基于 Weaviate
人工智能大模型RAGAI 应用本地部署后端
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考