企业官网建设流程全解析

文章总结与翻译

一、文章主要内容

本文从物理学视角出发，研究大型语言模型（LLM）推理过程中内部隐藏状态随token的变化规律，核心围绕“动量-点困惑度力学”框架展开，具体内容如下：

1. 核心发现：类能量守恒现象
   提出一个结合隐藏状态变化率（类比动量）与模型下一个token确定性（用点困惑度PPL衡量）的“类能量”指标Et=12∥vt∥2⋅PPLtE_{t}=\frac{1}{2}\left\|v_{t}\right\|^{2} \cdot PPL_{t}E