我给浏览器AI编辑器写了一套Codex Skill:让AI在真实剪辑场景中自我进化
2026/7/22 23:46:03 网站建设 项目流程

前言:AI写代码不难,落地真实业务闭环很难

现在大部分AI辅助开发,都停留在「改Bug、补功能、写模板代码」的阶段。

但有一个核心短板始终存在:

AI只懂代码语法,不懂产品真实运行环境、不懂用户操作逻辑、不懂复杂UI交互下的隐性坑点。

你让AI写一个视频剪辑功能,它能快速输出代码;

但你让AI真正打开编辑器、导入素材、完成剪辑、规避界面陷阱、导出可复用工程,绝大多数Agent都会翻车。

为了解决这个问题,我自研了浏览器端视频编辑器 Timeline Studio,完整实现多轨时间线、字幕生成、AI配音、画中画、关键帧动画、音频分离、MP4/WebM离线导出全套能力。同时搭建专属 Codex Skill 工作流。

它不是简单的提示词模板,而是一套面向AI Agent的标准化剪辑实操规范、异常降级链路、真实场景回归体系。

让AI不再只会“写代码”,更能像真实开发者、真实用户一样,在真实环境中操作产品、发现问题、迭代优化,形成完整进化闭环。

项目完全开源,线上可直接免登录体验,文末附上仓库与演示入口。

一、为什么普通AI剪辑自动化,几乎全都不稳定?

功能越丰富,AI自动化操作的不确定性就越高。如果直接让Codex执行剪辑任务,会批量出现六大典型问题:

1. 无法区分本地开发版/线上正式版环境,启动地址判断错乱

2. 不清楚当前编辑器真实支持的操作能力,盲目执行无效指令

3. 将脆弱的UI点击自动化,等同于稳定可复用的业务API

4. 只导出成片视频,不保留可二次编辑的工程文件,无法迭代

5. 遇到UI操作失败只走降级成功,自动掩盖真实Bug,无法沉淀问题

简单说:普通Agent只会追求“任务跑完”,不会追求“过程可信、结果可复用、问题可沉淀”。

而我编写的 edit-timeline-studio Skill,核心目标就是:

把模糊的AI操作,变成标准化、可校验、可复盘、可迭代的工程化流程。

二、Codex Skill 核心设计:消除所有剪辑操作不确定性

这套Skill是专门为 Timeline Studio 定制的Agent专属工作流规范,统一AI的所有操作准则:

1. 本地环境优先原则:存在本地仓库,优先启动本地开发环境

2. 分层执行策略:优先结构化命令运行器,无环境则进入浏览器兼容链路

3. 区分UI操作与API能力:禁止将不稳定的页面点击,伪装成稳定业务能力

4. 工程优先留存:任何剪辑成片,必须同步保留 .timeline 可编辑工程文件

5. 失败全量记录:不忽略任何一次前置失败,降级路径、报错日志全部沉淀归档

它的核心价值:让AI的每一次剪辑操作,都符合产品真实逻辑,而非模型的臆测逻辑。

三、真实落地测试:18秒实拍视频,测出一堆文档未覆盖的隐性问题

我用一段真实素材做全流程测试:

- 分辨率:1920×1080

- 编码:H.264

- 帧率:30fps

- 音频:AAC双声道

- 原始时长:17.94s

看似简单的「导入、裁切、导出」流程,却连续触发多个日常开发完全发现不了、文档从未记录的隐性问题。

问题1:文件上传按钮,并非点击即可生效

语义化定位「Choose File」按钮、原生file输入框点击,均无法唤起文件选择器。

真实可用的完整降级链路,是多层校验流程:

1. 监听浏览器原生 filechooser 事件

2. 截取当前编辑器页面状态,确认挂载正常

3. 点击用户可视上传区域触发唤起

4. 精准传入本地素材路径

5. 校验素材卡片、分辨率、时长、轨道片段是否正常渲染

Skill 从此沉淀:浏览器文件上传无通用万能脚本,必须适配编辑器UI交互逻辑,多层降级兜底。

问题2:新手引导弹窗,不能由AI随意关闭

首次打开项目会弹出功能引导弹窗,「Got it」按钮点击会写入本地存储、永久关闭引导。

如果AI为了推进任务随意点击,会篡改用户本地环境配置、改变用户使用体验。

Skill 新增严格规范:

1. 用户未明确授权,禁止点击永久生效的配置按钮

2. 被弹窗阻挡操作时,仅用关闭按钮/Esc临时关闭

3. 优先保留产品原生用户引导逻辑

问题3:窄片段UI陷阱:肉眼选中 ≠ 程序真实选中

本次测试需求:裁切首尾多余片段,保留核心画面,导出1080p原声视频。

切分视频后,时间线出现极短片段 + 主视频长片段。

短片段宽度极小,按钮、手柄、缩略图几乎占满区域。

肉眼看似选中短片段,实际程序命中的是主轨道长片段,直接误删核心内容。

普通自动化脚本只会“执行删除成功”,完全无法发现逻辑错误。

迭代后Skill最优操作逻辑:

1. 窄片段禁止依赖点击选中、工具栏操作

2. 优先右键唤起片段专属上下文菜单

3. 菜单精准执行「删除片段」指令

4. 操作后校验项目时长变化,验证操作有效性

5. 误操作立即撤销,复盘链路问题

问题4:界面Autosaved ≠ 真实持久化

编辑器实时展示「Autosaved」自动保存,但新开同源标签页,项目完全空白。

核心原因:浏览器Blob媒体资源无法通过普通会话复用,前端自动保存仅缓存页面状态,不完整持久化媒体资源。

Skill 推翻原有认知,新增强制规则:

1. 破坏性操作前,必须手动导出 .timeline 工程包

2. 任务交付必须附带可编辑工程文件

3. 验证持久化,必须重新导入工程测试

4. 绝不以页面「自动保存文字状态」作为可信依据

问题5:下载成功 ≠ 导出合格

本次最终渲染479帧,导出完成后,我没有止步于下载成功,而是通过FFmpeg全量校验成片质量:

- 479帧全部正常解码无损坏

- 视频编码H.264、分辨率1920×1080、30fps

- 实际成片时长15.97s,容器封装16.00s(正常帧舍入误差)

- 音频AAC 48kHz双声道,非无声占位流

- 平均响度-18.7dB、峰值-0.6dB,音轨完整有效

Skill 最终确立导出验收标准:

不看下载弹窗、不看页面提示,以音视频编码、帧数、时长、响度、解码完整性作为唯一合格依据。

四、这套Codex Skill,搭建了AI与产品的双向进化闭环

相比于写死的自动化脚本,我这套工作流的核心价值,是建立了可持续迭代的正向循环:

1. 固定真实用户测试场景,不使用虚拟测试数据

2. 依托真实浏览器、真实媒体素材落地执行

3. 完整留存失败链路,不只记录成功流程

4. 精准归类问题:产品缺陷/环境问题/UI兼容/Skill规则问题

5. 最小范围修复代码或更新规则

6. 回归测试+场景复用,避免问题复现

目前已沉淀 14类标准化端到端测试场景,覆盖开发、操作、导出、兼容全链路:

素材导入各类场景、文件上传降级、新手引导处理、剪辑核心操作、字幕/配音/画中画功能、音轨分离、关键帧动画、编码校验、工程保存恢复、多语言布局适配、AI模型冷热缓存降级等。

五、核心思考:Skill是兜底,不能掩盖产品缺陷

迭代过程中我意识到一个关键问题:

不要用复杂的AI操作脚本,去掩盖产品设计的不规范。

如果UI选中态模糊、操作无稳定ID、状态不可序列化,一味给Skill加降级逻辑,只会让技术债越堆越多。

因此我规划了 Timeline Studio 下一阶段核心优化:搭建专属Agent命令层

- 轨道、片段、项目唯一稳定ID

- 标准化时间单位、可序列化项目状态

- 操作幂等ID、事务化执行

- 操作Diff对比、预执行校验

- 无头渲染、后台导出、标准化报错

未来:UI只负责可视化预览,所有剪辑操作由内核统一命令执行,彻底告别脆弱的UI自动化。

六、项目体验与开源仓库

在线Demo(免登录,浏览器直接打开即用)

无需安装客户端、不用注册账号,打开网页即可体验全套剪辑功能,本地浏览器完成所有AI运算,素材不会上传云端,兼顾隐私与便捷。

GitHub开源仓库

整套项目代码完全开源,采用宽松开源协议,支持个人学习、二次商用改造。

仓库内置完整Codex Skill、自动化测试用例、多语言国际化配置、WebGPU渲染底层源码。

欢迎Star收藏、Fork自定义功能,遇到交互Bug、功能需求可提交Issue,持续迭代完善Agent自动化能力。

GitHub仓库地址:https://github.com/MartinDelophy/ai-video-editor

在线演示地址:https://video-editor.ai-creator.top/

海外Reddit社区相关帖子累计15000+浏览,不少海外前端、独立创作者交流端侧AI剪辑落地思路,多语种国际化方案也收获大量海外开发者认可。

七、最后总结:真正的AI进化,是落地真实场景

这次深度迭代,我最大的感悟:

AI Agent的成熟,从来不在于“能跑通一次任务”,

而在于能在无数真实异常中,沉淀规则、规避陷阱、反向优化产品。

这套 Codex Skill,本质是 Timeline Studio 的场景经验库:

它指导AI正确操作产品,也帮我反向发现开发阶段遗漏的隐性缺陷。

开源项目的真正壁垒,从来不是堆叠功能,

而是在真实场景中反复打磨、形成闭环、持续自我迭代的工程体系。

后续我会持续完善Agent命令层、标准化测试用例、多场景自动化剪辑方案,持续迭代这款纯浏览器端侧AI视频编辑器,欢迎各位开发者前往Demo试用、仓库交流提建议。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询