企业官网建设流程全解析

相关链接

arXiv论文：https://arxiv.org/abs/2508.13434

代码仓库：https://github.com/WinfredGe/EventTSF

思路及改进视频讲解：https://space.bilibili.com/51422950?spm_id_from=333.1007.0.0

摘要

时序预测在能源、交通等领域至关重要，这些场景中非平稳动态与文本等其他模态的外部事件深度纠缠。然而，用基于自然语言的外部事件改进非平稳预测仍基本未被探索，多数方法仍依赖单一模态，上下文知识有限、模型性能不佳。

实现时序与文本数据的细粒度多模态交互面临两个根本问题：①在统一框架中建模离散外部事件与连续时序的交互存在鸿沟；②经典均匀扩散时间步忽视事件引起的非平稳变化，导致各扩散阶段去噪难度不均衡。

作者提出事件感知非平稳时序预测EVENTTSF，一个通过逐步扩散整合历史时序与文本事件的自回归扩散框架；为缓解均匀时间步采样的去噪难度不均衡，EVENTTSF使用以事件语义为条件的事件感知flow matching时间步。在7个合成与真实数据集上的大量实验表明，EVENTTSF超过12个非平稳时序预测基线，概率预测在全部评估指标上平均提升41.3%、确定性预测平均提升27.5%。

Q1：这个模型试图解决什么问题？

核心问题是：真实时序的分布变化与节假日、计划促销、大型直播等外部事件深度纠缠，这些未来事件在预测前往往已知、是无法仅从历史观测推断的可执行外生先验；但以往方法要么只靠单模态、要么只用粗粒度全局文本、且只产出确定性点预测，无法细粒度刻画事件引起的分布偏移与不确定性。

图注：动机示意。(a)事件不感知的预测会退化：GroundTruth、EventTSF与w/o event-aware对比，去掉事件感知后难以跟上事件引起的突变；(b)事件引起不同段的时序分布：寒冷/炎热等事件对应不同噪声与分布；(c)EVENTTSF通过自回归扩散联合建模事件与时序。

1.事件先验被浪费：RevIN归一化、Koopa分解、OneNet在线学习等只在单模态上处理非平稳，忽视变化与文本等外部事件纠缠；近期用LLM做多模态的工作又只用通用、粗粒度文本上下文，难捕捉细粒度事件偏移，且依赖确定性事件表示、只产点预测，无法建模事件引起的不确定性；

2.挑战一：细粒度时序-事件交互：现有方法依赖静态全局“元上下文”，无法在段级把离散事件与连续时序同步对齐；把按时间排序的离散事件段与固定长度时序窗口对齐，才能实现逐步事件-时序交互、捕捉级联与滞后依赖，而非只条件于单一全局上下文；

3.挑战二：事件不感知的时间步采样：现有扩散预测模型从固定均匀分布采样扩散时间步，但去噪难度与去噪目标的信噪比SNR紧密相关；外部事件引起量级与方差的非平稳变化、产生异质SNR，均匀采样无法适应，导致训练难度不均衡、去噪器优化不稳。

Q2：相关研究

非平稳时序预测

深度学习通过归一化、模型设计、学习理论三条路线应对非平稳：①归一化插件，来自时域（RevIN等）与频域；②定制架构，如频率分解、统计分解与动态系统建模（Koopa等）；③学习理论方法，通过域生成、自适应与在线学习处理分布偏移。但引入外部模态做非平稳预测仍基本未被探索。

时序预测的多模态

把文本等外部信息引入时序预测：基于LLM的外生信息与代理交互、检索增强等。这类方法多用粗粒度全局上下文、确定性表示，难以刻画事件引起的细粒度分布偏移与不确定性。EVENTTSF通过事件同步、自回归扩散与事件感知时间步，填补多模态事件感知非平稳预测的缺口。

Q3：模型如何解决这个问题？

问题定义

给定长度L的单变量时序X1:L，定义N个按时间排序的细粒度文本事件嵌入C={c1,…,cN}，每个事件嵌入cs对应一个对齐、非重叠、一致的时序段xs={xl}(js,l=is)。多模态数据集D={(xs,cs)}满足：①∪xs⊆X完整覆盖；②xs∩xs′=∅段间不重叠。不同事件类别下时序分布发生事件条件偏移P(X|ci)≠P(X|cj)。给定p个历史时序/事件对Hx、Hc与q个未来事件描述Fc，目标预测q步未来Fx，即Fx帽=Gθ(Hx,Hc,Fc)。

整体架构

EVENTTSF是面向事件感知非平稳预测的自回归扩散架构，解决事件与时序的同步、联合建模，并通过事件感知扩散时间步让事件信息调制去噪过程。

图注：EVENTTSF总览。(左)连续时序经固定长度窗口化与离散事件同步，前向扩散以事件感知时间步注入噪声；(中)自回归扩散架构联合建模事件与时序，每步以观测历史与对齐事件嵌入为条件、用Diffusion Transformer加Cross Attention逐步去噪未来段；(右)由于SNR刻画去噪难度且随事件变化，把均匀采样的基础时间步t帽重参数化为事件感知时间步t=φ(t帽,c)。

事件同步

为弥合连续时序与随机离散事件长期被当作两个课题（时序与时序点过程）的模态鸿沟，按选定窗口把时序切成非重叠段xs，每段对齐同一区间内发生的事件嵌入cs；若某段窗口无事件则赋NULL事件。同步后的事件-时序对D={(xs,cs)}作为自回归扩散模型输入。文本事件由冻结的OpenAI text-embedding-3模型编码。

多模态自回归扩散

1.段生成视角：把概率预测视为自回归的细粒度段生成，预测步s通过条件扩散去噪生成段xs；去噪由汇总历史时序与事件观测的潜状态Zh初始化，潜状态Zs每步经时序段与事件语义交互自回归更新；

2.训练：自回归优化以潜状态Zs−1、含噪时序段xts、事件感知扩散时间步t、文本事件嵌入cs为条件的flow matching去噪器，学习速度场vts与更新潜状态Zs，(vts,Zs)=Mθ(Zs−1,xts,cs,t)；去噪器Mθ跨所有自回归步共享，步间动态由演化的潜状态与事件表征承载；

3.推理：先由干净历史Hx与历史事件Hc算出历史状态Zh作为初始Z0；每步以噪声ns与外生事件cs为输入，结合ODE求解器、经学到的去噪器生成去噪段xs。

flow matching与事件感知时间步

1.最优传输路径（式1）：用Rectified Flow把简单先验N(0,I)样本变换到目标分布，xts=(1−t)x0s+tx1s；

2.速度场（式2）：vts=dxdt=x1s−x0s，由神经网络vθ(xts,Zs−1,cs,t)逼近，采样时从N(0,I)采样噪声、用数值ODE求解速度场；

3.SNR量化难度（式3）：SNR(t;c)=t²σ²x|c/((1−t)²σ²n)，σ²x|c为干净信号方差、随事件变化，σ²n为噪声方差；因此同一t在不同事件下去噪难度可能不同；SNR随t非线性变化、且时间步-SNR曲线随事件变化；

4.Beta重参数化（式4）：把均匀采样的基础时间步t帽∈[0,1]映射为事件自适应时间步t，其分布服从Beta律t|c∼Beta(α(c),β(c))，t=φ(t帽,c)=F逆Beta(α(c),β(c))(t帽)；保证t∈[0,1]、φ对t帽严格单调递增（保留扩散步内在顺序）、形状可由(α,β)灵活调节；

5.参数预测（式5）：Beta参数由事件表示c经两个轻量线性网络加softplus预测，α(c)=softplus(fΘα(c))+ε、β(c)=softplus(gΘβ(c))+ε。

训练与采样算法

图注：Algorithm 1训练流程。对每个自回归步s，从U(0,1)采样基础时间步t帽、经φ得到事件感知时间步t，按OT定义含噪样本与速度，经去噪器联合更新潜状态与预测速度，最后用MSE损失更新参数。

图注：Algorithm 2采样/预测流程。先用历史p对( xs,cs)以t=1预热潜状态；对未来每步s采样噪声，沿去噪网格用φ计算事件感知步长Δt，经去噪器与ODE逐步精修，输出未来段并汇总。

去噪器：多模态U形扩散Transformer

去噪器Mθ采用多模态U形扩散Transformer M-U-DiT，把事件与多分辨率时序模式对齐：输入历史时序经交叉注意力、当前含噪段与时间步/条件一起送入U形网络；编码器下采样、瓶颈层、解码器上采样并加捷径，最终解码器预测速度场，更新的潜状态由输出与原潜状态Zs−1交叉注意力得到。

图注：多模态U形扩散Transformer M-U-DiT。上下两个Cross Attention分别融合Memory Z（K,V）与当前Input X（Q），中间U形Diffusion Transformer经Downsample（红）、Upsample（蓝）、Shortcut（绿）处理，附加Timestep T与Condition C，输出预测与更新记忆。

Q4：实验效果如何？

在7个数据集、12个模型上评估，配置遵循NsDiff与标准TSF协议，结果为三次独立运行平均。实验围绕五个研究问题：RQ1确定性与概率预测效果、RQ2基线能否用事件达到可比性能、RQ3组件有效性、RQ4训练效率、RQ5有无事件的可视化。

数据集与指标

在1个合成数据集与6个真实数据集上评估，覆盖交通、天气、大气物理领域：Synthetic、Atmospheric Physics-Weather Events、Traffic-Public Events、Temperature-Rainfall Events（Houston、San Francisco、New York三城市）、Traffic-News Events。确定性预测用MSE、MAE、RMSE；概率预测用CRPS、WQL，并报告点预测MAE。

图注：数据集统计。Synthetic 26280点、每波24点、1095波，事件为正弦35.6%/三角32.2%/方波24%/锯齿8.2%，描述均长2.14词；Atmospheric 52743点、10分钟、3.64词；Traffic-Pub 4704点、小时、4.21词；三个温度城市各45216点、小时、降雨为单token（降雨率Houston 24.26%、NewYork 24.58%、SanFran 30.94%）；Traffic-News 35088点、30分钟，描述均长280.04词。

基线

概率扩散基线含CSDI、TimeDiff、TMDM、DiffusionTS、NsDiff；确定性深度模型含iTransformer、Koopa、NSTransformer、PatchTST、TimesNet等；其中NsDiff、Koopa、NSTransformer专为非平稳预测设计。

RQ1：概率与确定性主结果

EVENTTSF在两类任务上均显著领先，全部数据集与指标上概率预测平均提升41.3%、确定性预测平均提升27.5%。

图注：概率预测结果（CRPS、WQL、MAE，越低越好）。EVENTTSF在7数据集几乎全部最优，Avg为CRPS .2747、WQL .1438、MAE .3254，远优于NsDiff（.5496/.3168/.7289）、TMDM（.6001/.3187/.7344）等；Synthetic上CRPS从TMDM的.1842降到.0776（提升58.4%），Atmospheric Physics上从DiffusionTS的.7151降到.2857（提升65.1%）。

图注：确定性预测结果（MAE、MSE、RMSE）。EVENTTSF Avg为MAE .3254、MSE .4046、RMSE .5846，一致最优；Synthetic上MAE .0812、较Autoformer的.3141降低74.1%，平均RMSE .5846、较DLinear的.9088降低35.8%。Traffic-News上各确定性模型竞争激烈，因长文本低信息事件表示使事件感知收益明显减弱。

RQ2：事件增强的基线仍不及EVENTTSF

多数基线无法原生使用事件，作者对概率基线把去噪器Transformer块替换为Crossformer块以支持事件交叉注意力，对确定性基线把事件嵌入线性投影到输入嵌入空间、作为残差条件信号加入。

图注：事件插入基线对比：左为概率CRPS、右为确定性MAE（浅色W/o event、深色W/ event）。加入事件一致改善两类基线，但即使能访问事件，所有基线仍明显逊于EVENTTSF；概率上TMDM加事件CRPS降.07（11.7%），而EVENTTSF降.10（27.1%，.37→.27）；确定性MAE上EVENTTSF平均降.28（45.9%，.49→.33）。说明简单注入事件嵌入不足以实现真正的事件感知建模。

RQ3：消融实验

在3个数据集上、用3个指标评估文本事件条件与事件感知扩散时间步。

图注：消融对比（W/o Event、Uni Timestep、Full三配置）。去掉文本事件使性能退化，Temperature-New York上WQL增加10.71%；把均匀时间步换成事件感知时间步带来一致收益，CRPS降低9.21%、WQL降低12.50%、MSE降低10.42%。完整模型在各数据集一致最优，证明每个组件都不可或缺。

RQ4：训练效率

图注：训练效率。左为训练时间vs平均MAE，EVENTTSF训练时间最短、误差最低，在Synthetic上较第二好基线训练快1.13倍、误差低4.85倍；右为训练时间随预测horizon的扩展，NSTransformer随horizon线性增长、NsDiff在各horizon都居高，EVENTTSF训练时间更低且呈亚线性增长（因按段而非按点生成），利于长horizon场景。

RQ5：事件感知预测可视化

图注：事件感知预测可视化（Synthetic与Traffic-Public，含Context、Ground Truth、Mean Forecasting与Range）。Synthetic上事件感知模型准确捕捉突变过渡，事件不感知模型只产生平滑响应；Traffic-Public上事件信息在噪声条件下改善了与真实值的对齐（合成数据上提升更明显），说明事件为精确预测提供了关键语义线索。

案例分析：Traffic-News为何表现受限

Traffic-News在主实验中表现次优，主要源于其文本模态质量与结构问题。

图注：Traffic-News文本事件示例。前40词为直接相关信息（区域、日期、星期、最高温、湿度、气压等），后275词多为背景新闻（某地锂电建厂、行业趋势等），过度冗长、与交通序列弱相关。约87.3%的事件描述由缺乏直接关联的背景新闻构成，削弱了文本事件与时序段建立清晰时间、语义对齐的能力。

作者据此强调：文本事件的信息量与相互关联才是事件感知预测的关键，纳入文本本身并不保证性能提升，其效用取决于语义清晰度及与时序动态的相关性，这也为更审慎的数据集设计与事件标注提供动机。

事件嵌入空间

图注：事件嵌入空间t-SNE对比。Synthetic呈清晰分离的波形簇，Atmospheric Physics、Traffic Public中心有明确聚类，三个温度城市均呈两个分离的二值降雨簇；唯独Traffic-News聚类弱、嵌入大量重叠，说明长新闻描述稀释了核心事件语义、语义可分性有限。

ΔVJ-FTSD：能量化文本事件的可预测性增益

为严格量化文本事件对预测的贡献，作者提出ΔνJ-FTSD：J-FTSD评估真实与生成的时序-元数据联合分布的对齐（越低越好），比较纳入与排除文本事件输入时的改善。

图注：ΔνJ-FTSD结果（浅色Without Event、深色With Event）。加入事件在多数数据集一致降低J-FTSD：Traffic-Pub降50.0%（.04→.02）、Temp-Houston降34.5%（2.35→1.54）、Temp-NewYork降27.4%（1.64→1.19）、Synthetic降22.7%（.97→.75）；唯独Traffic-News从4.19升到6.14、反而恶化，再次印证冗余低相关长文本会引入噪声、损害预测。

事件感知时间步的有效性

图注：学到的事件感知扩散时间步（Synthetic与Traffic Public）。黑色虚线为均匀时间步，彩色为各事件类别的重参数化曲线t=φ(t帽,c)；Synthetic上同一t帽下映射以明显非线性方式重分配采样位置、不同事件类别曲线系统性分化，Traffic Public上曲线也被事件调制。这与定性动机和定量消融一致：事件引起量级与方差变化、改变有效SNR，事件条件重参数化把去噪预算投向各事件类型的难度关键阶段，使各扩散阶段训练信号更均衡。

Q5：有哪些可以继续探索的点？

1.文本事件质量治理：Traffic-News案例表明，简单纳入冗长、低相关文本反而损害预测；如何自动筛选、压缩高信息事件描述、构建语义紧凑的事件标注，是提升多模态预测的关键方向；

2.细粒度多模态交互的扩展：当前以固定窗口做事件同步，可探索更灵活的事件-段对齐、事件级联与长滞后依赖建模，以及图像、音频等更多模态；

3.事件感知调度的理论与泛化：Beta重参数化有效平衡去噪难度，可进一步研究其与SNR分布的理论关系，以及在不同扩散骨干、不同领域数据集上的泛化。

Q6：总结

EVENTTSF首次把非平稳时序预测系统刻画为整合多模态事件信息的范式：通过事件同步在共享时间粒度下对齐离散事件与连续时序，用自回归扩散（多模态U形DiT去噪器、跨步共享、潜状态演化）实现细粒度段生成，并用基于Beta分布的事件感知flow matching时间步，把均匀采样重参数化为事件相关时间步、平衡各扩散阶段去噪难度。在7个合成与真实数据集上，EVENTTSF概率预测平均提升41.3%、确定性预测平均提升27.5%，超过12个非平稳基线；研究同时揭示文本事件的语义清晰度与相关性才是事件感知建模成败的关键。