☰
10 分钟上手 Open Computer Use:npm 一条命令装好 MCP,让 Codex 立刻动手操作你的电脑
2026/10/7 7:00:45 网站建设 项目流程

10 分钟上手 Open Computer Use:npm 一条命令装好 MCP,让 Codex 立刻动手操作你的电脑

【免费下载链接】open-codex-computer-use👾 Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use

Open Computer Use 是一个开源的 Computer Use 服务,已经打包成 npm 包并通过 MCP 协议暴露给所有 AI Agent。一条 npm 命令装好之后,Codex 等 Agent 就能像人一样看屏幕、点按钮、打字,在 macOS、Windows、Linux 上真正动手操作你的电脑。

Open Computer Use 是什么?它解决了什么问题

很多 AI 编程助手能读写代码文件,却"看不见"你的屏幕。Open Computer Use 补上了这块拼图:

  • 🖥️三端通用:macOS、Windows、Linux 都有对应的原生运行时,统一通过 MCP(Model Context Protocol)暴露给任意 AI Agent。
  • 🕵️非侵入式设计:基于各平台的 Accessibility 无障碍框架获取应用状态,不劫持你的鼠标键盘,官方称其为"非抢占式 CUA"。
  • 🔌MCP 原生:装进任何支持 MCP 的客户端(Codex、Claude Code、Gemini CLI、opencode……)即可用,不需要写一行胶水代码。

项目的灵感来自 OpenAI 的 Codex Computer Use,作者把整套能力做成了开源版本。如果想深入了解架构,可以阅读仓库自带的 docs/ARCHITECTURE.md 与逆向分析文档 docs/references/。

10 分钟安装教程:从 0 到 Codex 可操作

第 1 步:npm 全局安装 CLI

打开终端,执行这一条命令:

npm i -g open-computer-use

安装完成后会同时得到一个短命令ocu,方便日常输入。npm 启动器要求Node.js 18 或更高版本。

装完先验证一下,能列出系统中的应用就说明运行时已就绪:

ocu call list_apps

对应的原始文档见 README.md 和 skills/open-computer-use/references/installation.md。

第 2 步:macOS 权限授权(Windows / Linux 跳过)

⚠️ macOS 要求macOS 14.0 或更高版本,低于 14.0 时二进制无法启动,授权也无法弥补。

macOS 上第一次使用前需要两项系统权限:Accessibility(辅助功能)和Screen Recording(屏幕录制)。运行体检命令,缺失权限时会自动弹出引导面板:

open-computer-use doctor

按提示在系统设置中授权即可。Windows 和 Linux 不需要这一步,但需要在已登录的图形桌面会话中运行。

第 3 步:一条命令写入 Codex 配置

open-computer-use install-codex-mcp

它会自动把 MCP 服务器条目写入~/.codex/config.toml,Codex 重启会话后即可"动手"。如果你主要用 Codex App,还可以装成插件形态:

open-computer-use install-codex-plugin

到这一步,你只需要对 Codex 说"帮我打开文本编辑,写一句话",它自己就会调用 Computer Use 工具完成任务。🎉

其他客户端:MCP 配置一键安装或手动添加

除了 Codex,内置安装器还支持主流 Agent,各一条命令:

命令安装目标
open-computer-use install-claude-mcpClaude Code(写入~/.claude.json)
open-computer-use install-gemini-mcpGemini CLI(写入./.gemini/settings.json)
open-computer-use install-gemini-mcp --scope userGemini CLI 用户级配置
open-computer-use install-opencode-mcpopencode

如果你的客户端支持自定义 MCP,直接粘贴这段标准配置即可:

{ "mcpServers": { "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] } } }

装好后,你的 Agent 会获得 9 个 Computer Use 工具

MCP 服务器以 stdio 方式运行,对外暴露以下原生工具:

工具作用
list_apps列出正在运行的应用
get_app_state获取某个应用的可交互元素树(带element_index)
click点击元素或坐标
type_text输入文本
press_key按键(如 Return)
scroll滚动
drag拖拽
set_value直接给输入框赋值
perform_secondary_action触发元素次要动作

工作模式是"先感知、后行动":Agent 先用get_app_state拿到应用状态树,再基于element_index精确点击输入,比盲目按坐标点击更稳。

体验细节:像官方一样的仿真软件光标

你操作自己的电脑时指针自己动,Agent 操作你的电脑时它怎么"点"?Open Computer Use 在界面上叠加了一层仿真软件光标——你会看到一个虚拟光标平滑地滑向目标、点击、输入,体验与官方 Codex 一致,动作结束前你随时能看懂它要干什么。

这套光标运动系统的实现参考了公开资料,源码在 experiments/CursorMotion/,分析文档见 docs/references/software-cursor-motion-model.md。

不接 Agent 也能玩:CLI 直接调工具

CLI 本身就是完整的 Computer Use 客户端,适合做自动化脚本或排障:

# 调用单个工具,输出 MCP 风格的 JSON 结果 ocu call list_apps ocu call get_app_state --args '{"app":"TextEdit"}' # 编排连续动作(同一进程内复用 element_index 状态) open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5

仓库里自带一个可运行的动作序列示例:examples/textedit-overlay-seq.json。更进一步,ocu js/ocu repl还能用 JavaScript 直接编排动作,完整 API 见 docs/references/js-repl.md。

常见问题速查

  • macOS 上doctor反复要求授权?先确认系统版本 ≥ 14.0;再确认在系统设置里给了"辅助功能"和"屏幕录制"两项权限。
  • ocu: command not found?改用完整命令open-computer-use,或检查 npm 全局 bin 是否在 PATH 中。
  • 怎么升级?npm update -g open-computer-use即可。
  • 想读源码或跑本地验证?克隆仓库git clone https://gitcode.com/gh_mirrors/op/open-codex-computer-use,然后在源码目录执行make smoke跑冒烟测试。
  • Windows / Linux 要注意什么?必须在已登录的图形桌面会话中运行(Windows 走 UI Automation,Linux 走 AT-SPI2)。

写在最后

从npm i -g open-computer-use到 Codex 真正开始点你的鼠标,中间只有三条命令。如果你的 Agent 还在"只能改文件",不妨花 10 分钟给它装上这双手——安装细节和排障清单都收录在 skills/open-computer-use/ 中。

【免费下载链接】open-codex-computer-use👾 Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询