当大语言模型、AI 绘图和视频生成技术逐渐成熟,我们开始思考一个问题:能不能让普通用户只需要描述一个故事,就能完成一部属于自己的 AI 漫剧?
为了探索这个问题,我们开发了鸿帧智绘(Hongzhen Studio)——AI 漫剧智能制片工作台。
这是一个融合大语言模型、多模态内容生成、智能任务编排和 Agent-to-Agent(A2A)通信协议的全栈项目,希望通过一套完整的智能制片工作流,让视频创作从复杂的多工具操作转变为连续、可管理、可交互的创作过程。
一、项目介绍
项目名称:鸿帧智绘 · AI 漫剧智能制片工作台
项目方向:AI Agent / AIGC / 多模态生成 / 智能视频制作
技术栈:Python、FastAPI、Next.js、React、TypeScript、SQLite、FFmpeg、Seedream、Seedance、A2A
项目背景:2026 中国高校计算机大赛人工智能创意赛——鸿蒙赛道 Agent 创新方向参赛作品
GitHub 项目仓库:
GitHub - wangkangcoder/Hongzhenzhihui: 视频生成agent平台 · GitHub
线上演示地址:
https://hongzhenzhihui-hongzhen-studio.vercel.app/
线上演示主要用于了解平台界面与交互设计,完整的模型生成、任务执行及本地媒体合成能力需要相应的后端运行环境。
1.1 为什么开发这个项目?
近年来,AIGC 技术发展迅速。大语言模型能够生成故事剧本,图像生成模型能够绘制人物和场景,视频生成模型也逐渐具备了根据静态图片生成动态镜头的能力。
然而,将这些能力组合起来,真正完成一部具有连续情节的 AI 漫剧,仍然不是一件容易的事情。
例如,制作一部简单的古风悬疑漫剧,通常需要经历以下流程:
构思故事情节并编写剧本。
设计人物形象、服装和性格特征。
将剧本拆分为多个镜头。
为不同镜头编写图片生成提示词。
生成角色定妆照和场景关键帧。
保持不同镜头之间的人物形象一致。
将静态画面转换为动态视频。
对多个视频片段进行处理与拼接。
输出完整的漫剧作品。
即使有 AI 工具参与,用户依然需要在多个平台之间切换,手动整理素材、处理参数,并不断调整生成结果。
因此,我们希望构建一个统一的智能制片平台,将这些环节整合在一条工作流中。
鸿帧智绘的核心理念是:让用户专注于故事创意,让智能系统负责组织复杂的制作流程。
二、平台核心设计:九阶段智能制片管线
鸿帧智绘最核心的功能,是将传统影视制作流程抽象为九个可独立管理、又相互关联的智能制片阶段。
整个流程分为三个主要部分:
第一部分:剧本与设计
故事剧本 → 人物设计 → 分镜剧本
第二部分:视觉资产生成
Prompt 提示词 → 文生图与画风选择 → 人物定妆照 → 分镜画面生成
第三部分:视频制作与导出
图生视频 → 成品合成与导出
通过这样的设计,一句简单的创意可以逐渐被转换为剧本、人物设定、镜头画面和最终视频。
2.1 故事剧本生成
用户首先输入一句话创意,例如:
在一个风雨交加的夜晚,一名少女仵作潜入县衙,寻找一桩离奇命案背后的真相。
系统根据用户的创意,组织生成故事梗概、人物信息和剧本初稿。
在这一阶段,我们使用大语言模型承担文本生成任务,并通过结构化数据约束保证输出能够被后续制片流程使用。
与普通 AI 文本生成工具不同,鸿帧智绘不仅关注生成的文字内容,还需要保证这些内容能够进一步转化为人物、分镜和视频。
2.2 人物设计与角色一致性
角色一致性是 AI 漫剧制作中的一个重要难题。
例如,同一个角色出现在不同镜头中时,可能出现发型变化、服装不一致、五官改变等问题。
为此,我们设计了多层角色一致性机制:
角色设定:通过文本描述固定人物的身份、外貌、服装和性格特征。
视觉风格锚点:为整个项目设置统一画风。
人物定妆照:生成角色的标准形象,作为后续绘图参考。
参考图约束:在分镜画面生成时复用已有的角色视觉资产。
这一机制无法完全消除生成模型的随机性,但能够在工程流程层面降低角色形象漂移的风险。
2.3 智能分镜与 Prompt 生成
在完成剧本和人物设定后,系统会将故事拆分为多个镜头,并为每个镜头建立结构化描述。
每个镜头可以包含人物、场景、动作、台词、画面构图、镜头运动等信息。
随后,系统根据这些信息生成对应的图片或视频提示词,使原本偏文学性的故事描述逐渐转变为可供生成模型执行的视觉指令。
2.4 四候选抽卡选画与手绘参考
在分镜画面制作过程中,我们引入了一个比较有趣的设计——抽卡选画。
同一段 Prompt 生成的画面,可能在构图、光影、人物姿态上存在明显差异。如果只生成一张图片,往往难以一次达到理想效果。
因此,平台设计了四候选并行生成机制,允许用户从多个结果中挑选最合适的画面,也支持对单张候选重新生成。
除此之外,用户还可以上传手绘构图参考。
这样一来,用户负责确定画面的整体构图,AI 则负责补充视觉细节与画面质感。
我们希望实现的并不是完全取消人工参与,而是让 AI 承担重复性的生成工作,把关键创作决策留给用户。
2.5 图生视频与成品导出
当分镜关键帧确认后,系统即可进入图生视频阶段。
项目接入了 Seedance 视频生成能力,通过异步任务机制完成视频请求、状态查询、下载和后续处理。
考虑到不同镜头可能具有不同的编码参数与时长,平台还引入 FFmpeg 对视频进行规范化处理,再按镜头顺序合成完整作品。
这样便形成了从故事创作到 MP4 视频交付的完整技术链路。
三、Agent 智能体:让自然语言成为制片入口
除了九阶段可视化工作台,鸿帧智绘的另一个重要设计是智能体交互。
我们的目标并不是简单地在网页右下角添加一个聊天机器人,而是让对话助手能够真正操作项目、调用制片能力并反馈任务进度。
例如,用户可以输入:
帮我生成一部校园青春题材的 AI 漫剧,需要 3 个主要角色,共 10 个分镜。
智能体识别用户意图后,可以调用相应的业务能力来创建项目并推进创作流程。
整个交互过程不需要用户记忆复杂的 API 或手动填写多个操作表单。
3.1 网页可视化 + 对话双模式
我们设计了两套互补的操作方式。
网页可视化模式:适合精细操作,例如修改剧本、调整人物设定、比较候选画面、确认关键帧与预览成片。
Agent 对话模式:适合自然语言发起任务、推进流程、查询项目进度和执行需要用户确认的操作。
这两种模式共享相同的项目数据、业务规则与任务状态。
也就是说,用户可以在对话中创建项目,再回到网页中修改镜头;网页中的修改结果也能够成为后续对话操作的依据。
3.2 基于鸿蒙云 A2A 的智能体互联
为了让制片能力不仅局限于浏览器,我们实现了面向鸿蒙生态的 A2A 协议适配层。
系统通过 Agent Card 声明智能体的能力,并利用 JSON-RPC 2.0、Streamable HTTP/SSE 和签名认证机制,实现智能体之间的消息通信与任务状态反馈。
主要能力包括:
智能体能力发现与技能声明。
自然语言意图识别和业务调用。
异步任务状态反馈。
会话管理与消息幂等处理。
高成本操作前的用户确认。
任务完成后的结果通知。
其中,高成本操作确认是非常重要的一项工程设计。
例如,当用户要求生成全部视频时,系统可以先展示确认信息,在用户明确同意后再提交任务,避免误操作引发不必要的模型调用费用。
四、系统技术架构
在技术实现方面,我们采用前后端分离设计,并通过任务队列与本地持久化机制管理复杂的生成流程。
4.1 整体架构
用户 | +------+------+ | | Web 可视化 Agent 对话 | | +------+------+ | FastAPI 接口层 | 业务编排与阶段门禁 | 异步任务 Worker | +--------+---------+ | | | 文本模型 图像模型 视频模型 | | | +--------+---------+ | SQLite 数据存储 | FFmpeg 媒体处理 | MP4 成片输出 鸿蒙云 A2A 协议适配4.2 核心技术选型
| 技术 | 主要用途 |
|---|---|
| Python | 后端业务与任务编排 |
| FastAPI | REST API 和服务接口 |
| Pydantic | 数据模型与结构化校验 |
| Next.js + React | 网页工作台开发 |
| TypeScript | 前端类型约束 |
| SQLite | 项目、任务与状态持久化 |
| Worker | 异步任务调度和执行 |
| Seedream | 图像生成与参考图能力 |
| Seedance | 图生视频 |
| FFmpeg | 视频规范化与合成 |
| JSON-RPC + SSE | Agent 通信与流式反馈 |
| A2A | 智能体互联 |
4.3 为什么使用异步任务队列?
视频生成与普通 HTTP 请求存在一个很大的区别:生成过程往往需要较长时间。
如果直接等待模型返回结果,很容易出现请求超时、状态丢失等问题。
因此,我们采用了基于 Worker 的异步执行方式。
用户提交任务后,后端会记录任务信息,由 Worker 执行实际生成操作,前端通过查询任务状态展示执行进度。
同时,我们还加入了任务持久化、失败重试、版本校验等机制。
例如,当用户已经修改某个镜头时,如果旧的生成任务才刚刚完成,系统需要判断这份结果是否仍然对应当前镜头版本,而不能直接用旧结果覆盖新编辑。
这种设计不仅用于提升稳定性,也能减少重复生成造成的资源浪费。
五、从零体验鸿帧智绘
目前 GitHub 已提供项目代码和本地运行说明。
5.1 获取项目代码
首先克隆 GitHub 仓库:
git clone https://github.com/wangkangcoder/Hongzhenzhihui.git cd Hongzhenzhihui/hongzhen-studio5.2 环境准备
仓库 README 提供的是 Windows 本地运行方案,建议准备:
Python 3.11+
Node.js 20.9+
FFmpeg 相关运行环境
Git
首次安装还需要网络访问,以下载项目依赖。
5.3 安装与启动
在项目目录中打开 PowerShell,执行:
powershell -ExecutionPolicy Bypass -File scripts/setup.ps1安装完成后启动平台:
powershell -ExecutionPolicy Bypass -File scripts/start.ps1随后在浏览器访问:
前端工作台:
http://127.0.0.1:3000
FastAPI 接口文档:
High Performance Web Crawler API - Swagger UI
仓库 README 中提供了用于本地演示的账号:
用户名:creator 密码:hongzhen2026启动后,可以进入项目空间,体验九阶段制片工作流和网页端的小艺助手。
5.4 不配置 API Key 可以使用吗?
可以体验部分功能。
项目提供了明确区分的演示模式,在没有配置外部模型密钥时,可以使用内置演示资源了解项目流程、状态管理和成片导出机制。
需要注意,演示模式不代表平台能够在离线状态下根据任意文字创意生成全新的图片或视频。
如果希望启用真实的文本、图像和视频生成能力,需要按照 GitHub README 配置对应服务商的 API Key、模型和接口地址。真实模型调用可能产生费用。
另外,平台对真实调用失败和演示输出进行了区分,避免把预置素材误认为实时生成结果。
六、项目案例:《少女仵作夜探县衙》
为了验证系统在完整漫剧制作流程中的表现,我们以古风悬疑题材的《少女仵作夜探县衙》开展了全链路实验。
故事围绕一名少女仵作夜探县衙、寻找案件线索展开。
该案例从故事设定出发,经过人物设计、分镜规划、视觉资产制作和视频生成,最终完成多镜头成片合成。
根据项目作品说明文档中的综合实验记录:
| 项目 | 实验结果 |
|---|---|
| 作品名称 | 少女仵作夜探县衙 |
| 作品题材 | 古风悬疑 |
| 镜头数量 | 6 镜 |
| 最终时长 | 约 72.62 秒 |
| 画面比例 | 9:16 |
| 成片分辨率 | 432 × 768 |
| 视频帧率 | 24 FPS |
| 输出格式 | H.264 / MP4 |
这次实验重点验证了多镜头视频生成、异构视频素材规范化、镜头顺序合成以及成片播放与导出。
其中,视频时长采用模型自适应策略,生成完成后再根据实际视频时长更新镜头信息,而不是完全依赖提交前的估算值。
需要说明的是,该实验结果来自作品说明文档记录的特定运行环境,不意味着所有模型配置和线上演示部署都能够直接复现相同效果。
七、项目的工程特色
在开发鸿帧智绘的过程中,我们逐渐认识到:一个完整的 AI 应用,难点往往不只是调用模型 API。
相比单独实现文生图或图生视频,如何将多个具有随机性、异步性和不同接口规范的模型组织为可靠的业务系统,才是更复杂的工程问题。
我们重点探索了以下几个方面。
1. 阶段化智能制片
通过九阶段工作流,把专业的制片流程转化为可理解、可操作、可追踪的系统流程。
2. 多模态生成协同
将文本、图像和视频模型组合在统一的数据与任务体系中,实现跨模态生成结果的衔接。
3. 视觉资产一致性管理
通过统一画风、角色定妆照、参考图与阶段依赖约束,降低跨镜头角色形象漂移的问题。
4. Agent 与可视化交互融合
让对话负责创作意图和流程调度,让可视化工作台负责精细操作,两者复用同一套业务能力。
5. 可靠性与成本控制
通过异步任务、版本快照、状态恢复、消息幂等和付费确认机制,提高复杂生成任务的可控性。
在项目说明文档记录的测试阶段,我们使用 pytest 对业务状态、流程门禁、任务恢复、协议适配等功能进行了验证,参数化展开后共完成 122 项后端测试,并结合前端构建检查、浏览器走查和媒体链路验证进行综合测试。
八、当前不足与未来规划
鸿帧智绘目前仍然是一个持续完善中的智能制片项目。
虽然项目已经构建了相对完整的全流程架构,但距离成熟的生产级平台还有不少工作需要完成。
后续我们计划重点推进以下方向:
第一,进一步提高生成结果的可控性。
继续优化人物一致性、镜头风格统一、动作连贯性和视频生成质量,并探索更加精细的参考图控制机制。
第二,完善视频后期处理能力。
增强字幕、音频、镜头衔接与时间线编辑功能,让成片制作过程更接近实际的影视工作流。
第三,优化 Agent 智能体调度。
进一步完善复杂意图理解、任务规划与多步骤执行能力,并探索与更多外部智能体进行协作的可能性。
第四,推进平台工程化。
当前项目主要面向本地单用户原型。未来将根据使用规模,逐步完善正式用户鉴权、多人协作、云端部署、队列扩展和资源管理。
我们也希望通过持续迭代,让鸿帧智绘不仅能够完成 AI 漫剧,还能逐渐适用于短视频创作、动画制作和其他多模态内容生产场景。
九、项目总结
鸿帧智绘最初来源于一个很简单的想法:能不能让一个只有故事创意、没有专业视频制作经验的人,也能够独立完成一部 AI 漫剧?
在不断开发和测试的过程中,我们发现,这实际上是一个涉及多模态生成、工作流建模、智能体协同、异步任务调度以及媒体处理的综合工程问题。
一个能够生成图片或视频的模型,并不等同于一套能够稳定交付作品的制片系统。
因此,我们没有把全部重点放在某个单一模型上,而是尝试通过软件工程的方法,将不同模型的能力组织起来。
从一句话创意出发,经过剧本、人物、分镜、图像、视频等多个阶段,最终交付可以播放与下载的成片。
这就是我们开发鸿帧智绘希望实现的目标。
项目仍在持续开发,欢迎对 Python 全栈开发、AI Agent、多模态生成以及 AIGC 视频制作感兴趣的开发者交流探讨。
项目地址
GitHub 仓库:
GitHub - wangkangcoder/Hongzhenzhihui: 视频生成agent平台 · GitHub
在线演示:
https://hongzhenzhihui-hongzhen-studio.vercel.app/
如果觉得这个项目有参考价值,欢迎前往 GitHub 查看源码,也欢迎通过 Issues 提出建议。
感谢阅读!
推荐 CSDN 标签:
Python人工智能AI AgentAIGCFastAPINext.js鸿蒙视频生成开源项目