企业官网建设流程全解析

1. 为什么要做这张“注意力地图”：UniCache的出发点

先交代一下背景。我在做多模态模型推理加速相关的工作，最近几个月一直在折腾KV Cache压缩、注意力剪枝、token合并这些方向。做着做着发现一个很尴尬的问题：我们对单模态Transformer的注意力分布已经研究得很透，但一碰到多模态理解和生成模型，很多经验就失灵了。图文对齐模型、扩散模型、自回归多模态模型，它们的注意力分布形态差异非常大，而缓存策略、剪枝阈值的设定恰恰又极度依赖注意力分布的先验知识。

这正是UniCache项目启动的原因。UniCache想做的是统一的多模态KV Cache管理方案，不去针对某个模型单独调参，而是找到跨模型通用的缓存模式。但在设计缓存策略之前，必须先回答一个问题：多模态模型的注意力到底长什么样？理解模型和生成模型的注意力分布有没有共性的规律？哪些token是稳定的注意力锚点，哪些token是可有可无的过客？

本文是UniCache系列的第一篇，内容就是这张“注意力地图”——我对三类有代表性的多模态模型做了注意力分布提取和统计分析，把观察到的规律整理出来。后续第二篇会讲基于这些规律设计的缓存淘汰策略，第三篇讲系统实现和工程优化。

这个内容适合谁看？一是做推理加速和模型部署的工程师，二是研究多模态模型内部机制的算法同学，三是想给自己的模型加缓存但不知道从何下手的朋友。前100字里我已经把关键词交代清楚了：多模态理解模型、多模态生成模型、注意力分布、KV Cache、UniCache。

说明一下，所有观察来自公开模型权重，实验规模不大，属于“纵览”性质。我不打算在本文给出精确的最优参数，而是先把这几类模型的注意力脾气摸清楚。有了这张地图，后面设计缓存策略才不会瞎打。

2. 理解派模型的注意力长什么样：干净、聚焦、锚定语义

2.1 对比式图文模型的注意力：分布极度稀疏

先说第一类：图文对比预训练模型。这类模型是双塔结构，图像塔和文本塔各自编码，最后用对比损失拉近匹配的图文对。我提取了图像塔最后一层自注意力的平均注意力分数，发现一个非常显著的特征：注意力矩阵稀疏得惊人。

平均意义上，图像patch token的注意力只有大约15%~20%的位置显著大于零，其余位置几乎可以忽略。这跟纯视觉模型（比如分类模型）的表现完全不同，纯视觉模型在最后一层往往会出现注意力扩散，因为分类任务需要全局池化式的信息整合。但对比模型不需要——它的训练目标决定了图像塔最终输出的CLS token只需要编码“和文本匹配的语义核心”，所以注意力会极度集中到几个关键patch上。

以某开源图文对比模型为例，我抽取了1000张图片，统计最后一层CLS token对所有patch token的平均注意力权重。排名前10的patch贡献了大约72%的注意力总量，比随机分布的理论值（不到5%）高出一个数量级。这意味着什么？意味着对于这类模型，KV Cache的保留策略可以非常激进——大多数历史patch token的key和value根本不需要完整保存，它们的贡献在很早之前就被少数关键token吸收了。

2.2 视觉语言理解模型的注意力：文本token主导

第二类是视觉语言理解模型，典型结构是视觉编码器加语言解码器，输入是“图像patch序列+文本token序列”，输出是文本。这类模型是做VQA、图像描述、视觉推理的主力。

我对这类模型的注意力分布做了一个很简单的统计：把注意力分成三类——文本token对文本token、文本token对图像token、图像token对图像token。结果非常有意思。在浅层（前1/3层），图像token对图像token的注意力占主导，模型还在做视觉特征的局部整合。但到了中高层，文本token对图像token的注意力比例急剧上升，平均超过55%，而图像内部注意力迅速萎缩。

换句话说，这类模型在高层几乎完全被“文本锚定”支配。文本token像一个个钩子，把图像中的关键信息钩到自己的表征里，然后所有的推理都在文本侧完成。这跟人类的阅读方式很像：先扫一遍图，然后盯着问题想答案。

这个现象对缓存设计的启示很直接：图像token的KV在早期几层必须完整保存，因为视觉特征还在逐步构建；但一旦过了某个深度阈值，图像token的value变化幅度就会显著降低，可以大幅压缩甚至冻结。而文本侧token因为承担了主要的语义聚合功能，KV需要保留更多历史。

2.3 “理解”目标如何塑造注意力形态

为什么理解模型的注意力会这么干净？根源在训练目标。无论是对比损失还是交叉熵损失，本质上都是在做“选择性聚焦”——模型只需要找到足以完成任务的判别性特征就够了，不需要建模像素级别的完整场景。

举个例子，对于一张“猫躺在沙发上”的图片，理解模型只需要注意力集中在猫的脸、沙发的轮廓、以及两者的位置关系上，可能15个patch token就够了。但同一张图，如果给生成模型用，它需要记住猫毛的纹理走向、沙发材质的反射、光照渐变的方向，注意力必须覆盖到几乎所有patch token。

这个本质差异决定了后续所有缓存策略的走向。理解模型适合走“稀疏化路线”——大部分token可以大幅压缩；生成模型不能这么干，它需要更精细的分层缓存策略。

3. 生成派模型的注意力又是一套逻辑：动态、弥散、步间漂移

3.1 扩散模型：交叉注意力是逐时间步重定位的过程

扩散模型虽然是目前最火的多模态生成方案，但它的注意力分布特征和自回归模型完全不同。我主要分析了基于文本条件的文生图扩散模型，重点看U-Net中的交叉注意力层，即文本token对图像特征的注入过程。

交叉注意力的一个非常显著的特点是时间步依赖性。在去噪早期（高噪声阶段），注意力分布非常均匀，几乎所有文本token都会以相近的权重影响所有图像位置。这时候模型在做“粗定位”——确立画面的整体构图和语义布局，不需要精细的局部对应。

但随着去噪过程推进到中后期，注意力分布开始急剧“锐化”。具体的名词token（比如颜色词、物体词、方位词）会锁定到图像中特定区域，注意力熵快速下降。到最后的精修阶段，注意力矩阵中往往只有少数几个token还在起作用，绝大部分注意力贡献集中到边缘和纹理相关的词上。

这意味着什么？对缓存来说，扩散模型的KV Cache不能做静态的“重要/不重要”划分。某个token在去噪第10步可能是全场最关键的，到第30步就完全退居幕后。缓存策略必须是时间感知的（time-aware）。

3.2 自回归生成模型：混合序列上的多尺度注意力

另一类生成模型是自回归多模态模型，以图像、文本、甚至视频token混合序列为输入，用causal attention预测下一个token。这类模型的注意力分布比扩散模型更难捉摸。

我统计了自回归多模态模型生成的完整过程中所有层、所有头的注意力权重。有个很有意思的发现：模型内部的注意力头呈现明显的“分工”。一部分头几乎只关注图像token，另一部分头只关注文本token，还有一部分头在两种模态之间反复横跳。这个分工不是固定的——同一个头，在生成不同词性token时会切换关注对象。

比如生成“红色的苹果”这个短语时，“红色的”这两个token生成时，模型对颜色词（“红色”）的注意力会集中到图像中苹果的高光区域；而生成“苹果”这个词时，注意力会扩散到整个苹果轮廓。这说明自回归多模态模型的注意力是随生成进度动态重定向的，它的模式不能简单地用“文本主导”或“图像主导”来概括。

还有一个所有生成模型通用的现象：注意力分布熵整体高于理解模型。生成模型必须保留更多可能性——它在每一步都在“选择”，在选择之前必须把候选信息都过一遍。这种高熵特性意味着激进稀疏化方案在生成模型上容易崩。

3.3 跨层和跨步长的一致性：生成模型的阿喀琉斯之踵

我做了另一个维度的分析：对同一生成序列，比较相邻两步之间（step t和step t+1）的注意力分布相似度，以及相邻层之间的相似度。

结果暴露出很大的问题。理解模型相邻层之间的注意力分布相似度通常超过0.7（我用的是余弦相似度），跨层传递非常平滑。但生成模型的跨层相似度参差不齐——有些层之间只有0.3~0.4，意味着同一个token在不同层的关注对象差异极大。跨步长相似度更糟糕，尤其是自回归模型解码早期阶段，两步之间的平均注意力分布变化高达40%以上。

这个现象对缓存损耗极大。很多KV Cache压缩算法假设“注意力分布相对稳定”，这样才可以根据历史统计预测未来。但生成模型的注意力分布变化如此剧烈，预设静态缓存方案很容易在某个时间点完全失效。这不是说缓存没法做，而是说缓存方案必须学会预判注意力的转向，或者在分布剧变的层保留更多冗余。

4. 理解与生成，一张表看清五大关键差异

为了把两类模型注意力分布的差异讲透彻，我整理了一张对照表。这张表是我后续设计UniCache策略时的核心参考，也建议你保存下来对比使用。

这五个差异，每一条都对应一个缓存设计上的坎。

高熵与低熵决定了剪枝阈值怎么设。给理解模型设一个0.1的剪枝阈值能去掉大量无效token，但同一个阈值放到生成模型上可能会把关键信息剪掉。弥散状分布要求缓存方案必须保留每个注意力头的独立统计，而不能只看全层平均——很多论文喜欢报告“平均注意力分数”，但平均之后往往会抹平头之间的分工差异。

跨层不一致意味着层不同策略也必须不同。我的建议是：浅层适合空间感知的缓存优化，深层适合语义感知的优化。模态主导权决定了我应该给图像token和文本token设置不同命中的优先级。时间稳定性则直接否定了“一次打分、全程不动”的静态缓存思路。

上面这五条如果能把方向理清，UniCache的设计思路就已经有雏形了。说到底，缓存调度本质上是对注意力分布规律的工程化利用，分布长什么样，策略就该怎么写。

5. 从分布纵览到UniCache：注意力地图如何指导缓存设计

5.1 寻找“锚点token”：那些被反复关注的节点

纵览注意力分布最重要的产出，就是找到了“锚点token”这个概念。锚点token是指在模型推理过程中持续受到高频关注的少数token，它们像社交网络里的意见领袖一样，信息流经它们的次数远高于平均水平。

在理解模型中，锚点token就是图像里语义最丰富的patch——主导物体的核心区域。在扩散模型里，锚点token是那些贯穿整个去噪过程的关键文本语义词，通常是名词和主要形容词。在自回归多模态模型中，锚点token更复杂，它们既包括生成序列里早期的系统提示词，也包括参考图像中的全局信息载体。

锚点token的价值在于，它们的KV需要被最高优先级保留。我在几组小规模测试里验证了一下：如果只保留锚点token的完整精度，其他token做低精度量化，模型输出质量几乎没有可感知的下降。但如果简单地按位置来定优先级（比如总是保留前N个token），效果就差很多。

这给UniCache的核心思路定了一个基调：不按位置缓存，按“注意力锚定度”缓存。

5.2 注意力频率比注意力分数更能指导缓存

这里有一个经验上的重要修正。之前很多缓存策略用的是“注意力分数”来判断token重要性，也就是某个token在某一层获得的平均注意力权重。但在统计了多组模型之后我发现，注意力频率比注意力分数更稳定，也更有指导意义。

注意力频率指的是：某个token在所有层、所有头、所有时间步中，被列入“注意力权重top-k集合”的次数占总统计次数的比例。一个token可能在某一步的注意力分数极高，但只在那一两步出现，这叫“瞬时爆发”；另一个token可能每一步分数都不是最高，但总是稳定出现在top-k里，这叫“持续活跃”。

缓存策略应该优先保“持续活跃”的token，而不是“瞬时爆发”的token。原因是：瞬时爆发的token往往可以在该步从完整输入临时计算，但持续活跃token如果丢了，会影响后续几乎所有步骤。这个观察在理解模型和生成模型上都成立，是UniCache设计里区分于现有方案的关键。

5.3 分层差异化：不是所有层都值得缓存优化

注意力分布纵览带来另一个明确指引：不要所有层采用同一种缓存策略。我测量了不同深度层对缓存压缩的敏感度，发现一个一致的规律。

浅层（前1/3层）对token丢失极度敏感。因为浅层特征还在构建过程中，任何信息的缺失都会被后续层无限放大。中层是缓存优化的甜蜜区，注意力分布已经稳定，但还未进入最后的精炼阶段，可以有损压缩。深层则要分情况——理解模型的高层可以激进压缩，但生成模型的高层往往承担模态融合和后期的空间细节生成，压缩空间反而很有限。

这其实和人类大脑的信息处理顺序很像：先全面接收，再重点加工，最后精准输出。如果不分青红皂白对所有层用同一个缓存预算，浅层会成为瓶颈，而深层的压缩收益又没吃满。

由此，UniCache的初版框架朴素地表达为：全局做“锚点优先”的缓存淘汰调度，层内做“浅层保守、中层激进、深层按模型类型差异化”的预算分配。

6. 第一张注意力地图之后，我更确定的几件事

做完整张“地图”后，有些观察值得我们沉淀下来，作为后续工作的起点。

首先，多模态模型的注意力分布差异不是“风格不同”，而是“本质不同”。理解模型追求的是收敛、聚焦、确定性，生成模型则必须维持发散、多元、探索性。任何缓存方案想同时兼容两者，必须有一个“分布感知”的调度层，而不是靠固定阈值走天下。

第二个更实际的观察是：注意力头分工这件事被严重低估了。大部分公开的注意力可视化只展示多头平均后的结果，这直接把头之间的互补性抹掉了。我自己在调试时发现，有些退化case不是整体注意力出了错，而是某个专门负责图像细节的头崩了。所以UniCache后续的统计维度，会按“头组”来划分，而不是只看全层平均。

最后分享一个工具层面的建议。做注意力分布分析时，不要只看纸面数值，一定要把注意力图渲染出来叠加到原始输入上。我用的方法很简单：抽取某层的原始注意力矩阵，用PCA降维到3通道，然后作为半透明蒙版叠加到图像上。很多规律是看分布曲线看不出来、但一眼看图就能发现的——比如锚点token往往集中在物体的边缘和纹理突变区，这个在数值表上表现并不眨眼，但在热力图上极其明显。

这张注意力地图是第一版，接下来第二篇我会详细展开UniCache的缓存淘汰策略设计，核心就是解决本文发现的三个痛点：熵驱动的预算分配、锚点token优先保留、以及跨层差异化压缩。如果你也在做多模态推理加速，欢迎对照自己模型的注意力分布看看，大概率会发现一些跟常规经验不太一样的东西。