10 分钟上手 Open Computer Use:npm 一条命令装好 MCP,让 Codex 立刻动手操作你的电脑
【免费下载链接】open-codex-computer-use👾 Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use
Open Computer Use 是一个开源的 Computer Use 服务,已经打包成 npm 包并通过 MCP 协议暴露给所有 AI Agent。一条 npm 命令装好之后,Codex 等 Agent 就能像人一样看屏幕、点按钮、打字,在 macOS、Windows、Linux 上真正动手操作你的电脑。
Open Computer Use 是什么?它解决了什么问题
很多 AI 编程助手能读写代码文件,却"看不见"你的屏幕。Open Computer Use 补上了这块拼图:
- 🖥️三端通用:macOS、Windows、Linux 都有对应的原生运行时,统一通过 MCP(Model Context Protocol)暴露给任意 AI Agent。
- 🕵️非侵入式设计:基于各平台的 Accessibility 无障碍框架获取应用状态,不劫持你的鼠标键盘,官方称其为"非抢占式 CUA"。
- 🔌MCP 原生:装进任何支持 MCP 的客户端(Codex、Claude Code、Gemini CLI、opencode……)即可用,不需要写一行胶水代码。
项目的灵感来自 OpenAI 的 Codex Computer Use,作者把整套能力做成了开源版本。如果想深入了解架构,可以阅读仓库自带的 docs/ARCHITECTURE.md 与逆向分析文档 docs/references/。
10 分钟安装教程:从 0 到 Codex 可操作
第 1 步:npm 全局安装 CLI
打开终端,执行这一条命令:
npm i -g open-computer-use安装完成后会同时得到一个短命令ocu,方便日常输入。npm 启动器要求Node.js 18 或更高版本。
装完先验证一下,能列出系统中的应用就说明运行时已就绪:
ocu call list_apps对应的原始文档见 README.md 和 skills/open-computer-use/references/installation.md。
第 2 步:macOS 权限授权(Windows / Linux 跳过)
⚠️ macOS 要求macOS 14.0 或更高版本,低于 14.0 时二进制无法启动,授权也无法弥补。
macOS 上第一次使用前需要两项系统权限:Accessibility(辅助功能)和Screen Recording(屏幕录制)。运行体检命令,缺失权限时会自动弹出引导面板:
open-computer-use doctor按提示在系统设置中授权即可。Windows 和 Linux 不需要这一步,但需要在已登录的图形桌面会话中运行。
第 3 步:一条命令写入 Codex 配置
open-computer-use install-codex-mcp它会自动把 MCP 服务器条目写入~/.codex/config.toml,Codex 重启会话后即可"动手"。如果你主要用 Codex App,还可以装成插件形态:
open-computer-use install-codex-plugin到这一步,你只需要对 Codex 说"帮我打开文本编辑,写一句话",它自己就会调用 Computer Use 工具完成任务。🎉
其他客户端:MCP 配置一键安装或手动添加
除了 Codex,内置安装器还支持主流 Agent,各一条命令:
| 命令 | 安装目标 |
|---|---|
open-computer-use install-claude-mcp | Claude Code(写入~/.claude.json) |
open-computer-use install-gemini-mcp | Gemini CLI(写入./.gemini/settings.json) |
open-computer-use install-gemini-mcp --scope user | Gemini CLI 用户级配置 |
open-computer-use install-opencode-mcp | opencode |
如果你的客户端支持自定义 MCP,直接粘贴这段标准配置即可:
{ "mcpServers": { "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] } } }装好后,你的 Agent 会获得 9 个 Computer Use 工具
MCP 服务器以 stdio 方式运行,对外暴露以下原生工具:
| 工具 | 作用 |
|---|---|
list_apps | 列出正在运行的应用 |
get_app_state | 获取某个应用的可交互元素树(带element_index) |
click | 点击元素或坐标 |
type_text | 输入文本 |
press_key | 按键(如 Return) |
scroll | 滚动 |
drag | 拖拽 |
set_value | 直接给输入框赋值 |
perform_secondary_action | 触发元素次要动作 |
工作模式是"先感知、后行动":Agent 先用get_app_state拿到应用状态树,再基于element_index精确点击输入,比盲目按坐标点击更稳。
体验细节:像官方一样的仿真软件光标
你操作自己的电脑时指针自己动,Agent 操作你的电脑时它怎么"点"?Open Computer Use 在界面上叠加了一层仿真软件光标——你会看到一个虚拟光标平滑地滑向目标、点击、输入,体验与官方 Codex 一致,动作结束前你随时能看懂它要干什么。
这套光标运动系统的实现参考了公开资料,源码在 experiments/CursorMotion/,分析文档见 docs/references/software-cursor-motion-model.md。
不接 Agent 也能玩:CLI 直接调工具
CLI 本身就是完整的 Computer Use 客户端,适合做自动化脚本或排障:
# 调用单个工具,输出 MCP 风格的 JSON 结果 ocu call list_apps ocu call get_app_state --args '{"app":"TextEdit"}' # 编排连续动作(同一进程内复用 element_index 状态) open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5仓库里自带一个可运行的动作序列示例:examples/textedit-overlay-seq.json。更进一步,ocu js/ocu repl还能用 JavaScript 直接编排动作,完整 API 见 docs/references/js-repl.md。
常见问题速查
- macOS 上
doctor反复要求授权?先确认系统版本 ≥ 14.0;再确认在系统设置里给了"辅助功能"和"屏幕录制"两项权限。 ocu: command not found?改用完整命令open-computer-use,或检查 npm 全局 bin 是否在 PATH 中。- 怎么升级?
npm update -g open-computer-use即可。 - 想读源码或跑本地验证?克隆仓库
git clone https://gitcode.com/gh_mirrors/op/open-codex-computer-use,然后在源码目录执行make smoke跑冒烟测试。 - Windows / Linux 要注意什么?必须在已登录的图形桌面会话中运行(Windows 走 UI Automation,Linux 走 AT-SPI2)。
写在最后
从npm i -g open-computer-use到 Codex 真正开始点你的鼠标,中间只有三条命令。如果你的 Agent 还在"只能改文件",不妨花 10 分钟给它装上这双手——安装细节和排障清单都收录在 skills/open-computer-use/ 中。
【免费下载链接】open-codex-computer-use👾 Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考