☰
PinchBench安装与环境搭建指南:Python 3.10 + uv + OpenClaw完整配置
2026/10/14 19:39:38 网站建设 项目流程

【免费下载链接】skill

PinchBench is a benchmarking system for evaluating LLM models as OpenClaw coding agents. Made with 🦀 by the humans at https://kilo.ai

项目地址:https://gitcode.com/gh_mirrors/skill1/skill
点击查看免费下载

PinchBench 是一款用于评估 LLM 模型作为 OpenClaw 编码代理(Coding Agent)表现的开源基准测试系统。本文将面向新手,手把手带你完成 PinchBench 的安装与环境搭建:如何配置 Python 3.10 与 uv 包管理器、如何安装 OpenClaw 代理、如何配置 API Key,并最终成功运行你的第一个基准测试任务。

认识 PinchBench:它测的是什么?

PinchBench 不考"死知识",而是把真实任务直接丢给 AI 代理去完成:写代码、管理文件、分析数据、处理日程……再自动为结果打分。它重点考察四方面能力:

  • 工具调用——能否用对参数调用正确的工具
  • 多步推理——能否串联多个动作完成复杂任务
  • 真实混乱场景——能否处理模糊指令和不完整信息
  • 实际产出——文件是否真的创建、任务是否真的完成

内置任务覆盖生产力、研究、写作、编码、数据分析等多个类别,任务定义统一放在 tasks/ 目录下,每个任务都是一个独立的 Markdown 文件。

💡 为什么需要本地环境?因为 PinchBench 会在你的机器上启动一个真实的 OpenClaw 代理来"应试",所以 Python、uv 和 OpenClaw 三件套缺一不可。

环境搭建前检查清单

在开始之前,请确认你的机器满足以下要求(完整依赖声明见 pyproject.toml):

组件版本要求用途
Python3.10 及以上运行基准测试脚本
uv最新版快速管理 Python 依赖与运行环境
Node.js22 及以上运行 OpenClaw 代理
OpenClaw最新版被测 AI 代理的运行时
模型 API Key—调用 LLM 模型(OpenRouter / Anthropic / OpenAI 等)

第一步:确认 Python 3.10 并安装 uv

1. 检查 Python 版本

python3 --version

pyproject.toml中明确声明了requires-python = ">=3.10",版本低于 3.10 时需要先升级系统 Python。

2. 安装 uv 包管理器

uv 是极速 Python 包管理器,一条命令即可完成安装(与官方 Dockerfile.benchmark 中的安装方式一致):

curl -LsSf https://astral.sh/uv/install.sh | sh

安装完成后验证:

uv --version

uv 的优势在于自动处理依赖隔离:运行脚本时它会自动创建并缓存一个干净的 Python 环境,你无需手动管理pip或虚拟环境。本项目运行所需的核心依赖(如pyyaml、fabric、paramiko)都会由 uv 按需安装。

第二步:安装 OpenClaw 代理

OpenClaw 是被测模型的"身体"——它负责执行工具调用、读写文件、完成代理任务。PinchBench 需要一台运行中的 OpenClaw 实例。

OpenClaw 基于 Node.js 运行,请先确保 Node.js 版本 ≥ 22,然后全局安装:

npm install -g openclaw

验证安装结果:

openclaw --version

⚠️ 如果提示openclaw: command not found,说明 npm 全局目录不在 PATH 中,可将npm config get prefix输出的/bin路径加入 PATH 环境变量。

第三步:克隆 PinchBench 仓库

git clone https://gitcode.com/gh_mirrors/skill1/skill cd skill

克隆完成后,先了解关键目录,方便后续排查问题:

目录/文件说明
scripts/执行入口与核心逻辑,含一键脚本 run.sh 和主程序 benchmark.py
tasks/所有基准测试任务定义(Markdown 格式),任务格式模板为 TASK_TEMPLATE.md
assets/任务素材:CSV 数据集、PDF、会议纪要、图片等
SKILL.md技能说明文档,含完整命令行选项
Dockerfile.benchmark预装 OpenClaw 的 Docker 运行镜像定义

配置模型 API Key 环境变量

PinchBench 支持多家模型服务商,模型 ID必须携带服务商前缀。不同前缀对应不同的环境变量(详见 scripts/lib_agent.py 中的读取逻辑):

模型前缀需配置的环境变量
openrouter/(默认路由)OPENROUTER_API_KEY
anthropic/ANTHROPIC_API_KEY
openai/OPENAI_API_KEY
kilo/KILO_API_KEY

以 OpenRouter 为例(它是默认的模型路由通道):

export OPENROUTER_API_KEY=your_api_key_here

📌 小贴士:若未设置OPENROUTER_API_KEY,程序会跳过模型有效性校验并给出警告;但实际跑分仍需有效的 Key。

首次运行:一键启动基准测试

一切就绪后,使用仓库自带的便捷脚本 scripts/run.sh 启动(它会自动通过 uv 运行 scripts/benchmark.py):

# 运行完整测试套件 ./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4

建议首次运行只跑一两个任务,快速验证环境是否正常:

./scripts/run.sh --model openrouter/openai/gpt-4o --suite task_sanity,task_calendar

运行过程中你会看到终端打印任务进度与分类得分摘要;结果 JSON 默认保存到results/目录,每个任务的完整对话记录会归档到results/{run_id}_transcripts/,便于事后分析。

常用参数速查(完整列表见 README.md 的 Command Reference 表格):

参数作用
--suite all / automated-only / 任务ID列表选择运行范围,automated-only更快
--no-upload只在本地看结果,不上传排行榜
--runs N每个任务重复 N 次取平均,结果更稳定
--timeout-multiplier N为响应较慢的模型放大超时时间
--output-dir DIR指定结果输出目录(默认results/)
--register一次性注册 API Token,用于提交排行榜

常见问题快速排查

现象可能原因与解决办法
提示Model 'xxx' not found模型 ID 缺少服务商前缀,请检查是否为openrouter/...格式
uv: command not found重新打开终端,或将~/.local/bin加入 PATH
openclaw找不到OpenClaw 未安装或未加入 PATH,重跑npm install -g openclaw
任务频繁超时使用--timeout-multiplier 2放大超时阈值
得分波动大增加--runs 3取多次平均

进阶:用 Docker 一键搭建

如果你不想在宿主机上折腾 Node.js 和依赖,仓库提供了 Dockerfile.benchmark,基于node:22-bookworm镜像,已预装 Python、uv 和 OpenClaw:

# 构建基准测试运行镜像 docker build -f Dockerfile.benchmark -t pinchbench-runner .

镜像默认工作目录为/workspace,并预创建了/root/.openclaw配置目录,把仓库内容挂载进去即可直接运行,非常适合 CI 场景或想保持系统干净的用户。

小结

回顾一下 PinchBench 环境搭建的完整路径:

  1. ✅ 确认 Python ≥ 3.10,安装 uv 包管理器
  2. ✅ 安装 Node.js 22+ 与 OpenClaw 代理
  3. ✅ 克隆仓库,配置模型 API Key 环境变量
  4. ✅ 用./scripts/run.sh --model ...跑通第一个任务

配置完成后,你还可以参考 tasks/TASK_TEMPLATE.md 贡献自己的测试任务,或用--register注册 Token 把成绩提交到公开排行榜。祝你在 PinchBench 的基准测试之旅中一切顺利!🦀

【免费下载链接】skill

PinchBench is a benchmarking system for evaluating LLM models as OpenClaw coding agents. Made with 🦀 by the humans at https://kilo.ai

项目地址:https://gitcode.com/gh_mirrors/skill1/skill
点击查看免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询