企业官网建设流程全解析

• 大模型
• 人工智能
• 多模态
• 媒体生成
• 基础模型

🎨InternLumina-U2是上海 AI Lab 推出的统一多模态大模型：只用一个模型，就能完成文生图、图像编辑、图像理解等任务。它是 16B 参数的 MoE 架构（16B-A1B，每次仅激活 1B 参数），搭配 8 码本全离散视觉表示（AToken），生成效率高、部署友好。本文将带你从零跑通文生图与图像编辑流程，并重点拆解 5 个最关键的解码参数，教你用调优技巧快速提升出图质量。

一、InternLumina-U2 能做什么？

先搞懂它的能力边界，才能把模型用对地方。InternLumina-U2 把语言、图像、视频和 3D 纳入同一个框架：

它最大的卖点在于“统一”：文生图与图像编辑走同一条生成通路——输入文本提示，模型逐块“去噪”出视觉 token，再由解码器还原成像素图像。这也意味着本文的解码参数调优技巧对这两类任务同时适用。

二、原理速览：MoE 架构 + 8 码本视觉 Token

不必深究数学，只要记住三件事：

1. 16B-A1B 的 MoE 结构：模型共有 256 个专家，每个 token 只激活 8 个（num_experts_per_tok: 8），总参数 16B 但计算量只相当于 1B 的密集模型——这是它“又大又快”的秘密。
2. 8 码本全离散视觉表示：图像被编码为一串离散视觉 token（基于 Apple 的 AToken 方案，num_codebooks: 8）。文生图本质上是“预测视觉 token 序列”。
3. 块式迭代精化解码：生成不是逐字蹦 token，而是先把目标区域填满 mask 占位符（<|mask|>），再按 32 个 token 为一块、反复迭代地把 mask 替换成真正的 token。

相关定义见 configuration_internluminau2.py 与 config.json。

三、快速开始：克隆仓库与运行环境配置

本仓库托管了模型权重（checkpoint），推理代码与示例脚本在官方代码仓库。

1. 克隆仓库（需要下载权重时使用）：

   git clone https://gitcode.com/InternLM/InternLumina-U2

2. 安装依赖：权重基于 transformers 4.53.0 构建，建议版本不低于 4.53.0。

3. 运行推理：按官方说明，把CHECKPOINT指向仓库内对应硬件的子文件夹，再运行infer_1024_sft.sh。

⚠️重要：仓库内有两套完全同架构、但分别训练的权重，按你的硬件选一套即可：

两套目录结构一致，关键文件一览：

• modeling_internluminau2.py：模型实现，包含解码入口generate()
• tokenbridge.py：视觉 token ↔ 像素图像的解码桥
• config.json：架构超参（MoE、码本数等）
• tokenizer.json + tokenizer_config.json：词表与特殊 token
• special_tokens_map.json：<|mask|>、`

• 大模型
• 人工智能
• 多模态
• 媒体生成
• 基础模型