企业官网建设流程全解析

RT-2 模型详解

RT-2 (Robotic Transformer 2)

基本信息

模型架构图

输入图像 ──→ ViT Encoder ──→ 图像Token ──┐
                                           ├──→ 共享Token序列 ──→ LLM (PaLM/S隔) ──→ 输出Token
文本指令 ──→ Text Embed ──────────────────┘
                                           ↑
                                      动作Token也加入词表

输出Token ──→ 判断是动作Token还是文本Token ──→ 动作Token ──→ DeQuantize ──→ 连续动作

公式列表

公式 1：图像 Token 化

$$I_{token} = \text{ViT}(I_{raw})$$

场景：相机拍摄一帧画面

输入: [224, 224, 3] 的RGB图像
输出: 196个token, 每个token 768维向量

比喻：切披萨</