- 人工智能
- 基础模型
- 机器学习
- 深度学习
【免费下载链接】timessm-2.5m
TimeSSM-2.5M 是一个仅 2.5M 参数的零样本(zero-shot)时间序列预测模型,它在 GIFT-Eval 基准上以 MASE 0.7544、CRPS 0.5128 的成绩跻身榜单第一梯队。本文带你逐层拆解这组数字是怎么来的:裸模型跑出了几分、推理期重采样层又加了几分,以及它在小参数模型中的真实位置。📊
GIFT-Eval 是什么?MASE 与 CRPS 怎么读
GIFT-Eval 是当前时间序列预测领域主流的零样本评测基准,覆盖 97 种"数据集 / 频率 / 预测长度"配置,从电力负荷、交通流量到天气、销售都有。
两个核心指标都越低越好,且都是"与官方 seasonal naive 基线的比值"的几何平均:
| 指标 | 含义 | 直觉理解 |
|---|---|---|
| MASE | 平均绝对误差对 seasonal naive 的比值 | 0.75 = 误差只有简单季节基线的 75% |
| CRPS | 概率预测的连续排序概率评分 | 衡量整条分位数扇形的质量 |
⚠️ 关键点:TimeSSM 的训练语料从构造上就排除了 GIFT-Eval 的数据源,且最终成绩来自训练运行的最后一个 checkpoint,没有针对榜单挑选过模型。评测脚本还在 97/97 配置上复现了 t0-beta 的官方逐配置结果,数字是可信的(详见 README.md)。
2.5M 参数是怎么做到"一发全 horizon"的
TimeSSM 的骨干是对角线性状态空间模型 S4D:6 个门控 S4D 块,d_model192、d_state32,总参数 2,525,771(完整超参见 config.json)。它有两个对使用者很友好的设计:
- 一次前向预测任意 horizon:不需要自回归循环,短序列、长序列一次出结果;
- 采样间隔是推理期旋钮:通过
delta_scale把"季节长度"换算成采样率参数w(15 分钟数据为 0.25,小时级为 1),同一套权重可以按任意频率运行——这是它最独特的能力。
此外它输出0.1 到 0.9 共九个分位数,用上下文做交叉注意力的分位数头给出概率扇形。训练语料规模相当扎实:15.85B 个观测值,来自 106 个公开数据集文件(LOTSA 固定版本、Chronos 四个数据集与合成家族),频率清单见 corpus_v3_frequencies.yaml。更励志的是:整套模型由一个人用 3 张 RTX 3090 从零训练完成,不挂靠任何实验室或公司。
MASE 0.7544 是怎么拿到的:推理期回测重采样层
这是全文最核心的部分——0.7544 不是裸模型的成绩,而是"裸模型 + 推理期重采样层"的总成绩。🔧
具体做法(零训练,全部发生在推理时):
- 把历史序列以多个速率重采样:降采样 2 到 48 倍、升采样 2 到 4 倍,每个速率各预测一次;
- 用序列自身过去的因果回测给各候选加权;
- 按分位数层级混合预测,并做 sign-flip 平均;
- 用训练语料上标定的九个逐层 gamma 因子(calibration_gamma.json)把分位数扇形放宽。
全程没有在 GIFT-Eval 上拟合任何东西。代价是:每条序列要跑 20 到 40 次前向,而不是一次。
裸模型有多能打:MASE 0.7985,一次前向
去掉所有花活——单次前向、无平均、无重采样、无标定——裸模型成绩为:
| 配置 | MASE | CRPS |
|---|---|---|
| TimeSSM-2.5M(裸模型,1 次前向) | 0.7985 | 0.5451 |
| TimeSSM-2.5M + 回测重采样 | 0.7544 | 0.5128 |
也就是说,重采样层贡献了约 0.04 的 MASE 和 0.03 的 CRPS 提升。更值得注意的是横向对比:48M 参数的 Chronos-Bolt small 裸模型 CRPS 为 0.564,而 TimeSSM-2.5M 裸模型在两项指标上直接赢过它——参数量只有其 1/19。
小参数档位排名:它站在哪个位置
在 GIFT-Eval 榜单 10M 参数以下的模型中(按 CRPS 排序,榜单数据来自其元数据):
| 模型 | 参数量 | CRPS 比值 |
|---|---|---|
| FlowState-9.1M | 9.1M | 0.502 |
| TimeSSM-2.5M + 回测重采样 | 2.5M | 0.513 |
| TTM-R3 | 1.4M | 0.520 |
| Toto-2.0-4m | 4.1M | 0.524 |
| Chronos-Bolt tiny + 同款重采样层 | 9M | 0.532 |
| TempoPFN | n/a | 0.533 |
| TimeSSM-2.5M(裸模型) | 2.5M | 0.545 |
| Kairos-10m | 9.9M | 0.554 |
| Chronos-Bolt tiny | 9M | 0.601 |
🏆 结论很清晰:开启重采样层后,TimeSSM-2.5M 是 10M 参数以下档位的第二名,与榜首 FlowState-9.1M 仅差 0.011 CRPS,而参数量只有它的 27%。注意两点:TTM-R3 的预训练见过 GIFT-Eval 数据(有数据泄露嫌疑);而 Chronos-Bolt tiny 套上同款重采样层也只能到 0.532,说明这个推理期技巧本身对 TimeSSM 特别有效。
逐配置拆解:强在哪,弱在哪
97 个配置的逐条成绩见 README.md,这里挑几个代表性例子:
强势配置(比值远低于 1,大幅优于季节基线):
| 配置 | MASE(含重采样) | CRPS(含重采样) |
|---|---|---|
| us_births/D(美国出生数,日) | 0.255 | 0.209 |
| bizitobs_l2c/5T(云负载,5 分钟) | 0.291 | 0.293 |
| jena_weather/10T/long(天气,长 horizon) | 0.849 | 0.204 |
| jena_weather/H/long | 0.808 | 0.140 |
弱势配置(比值大于 1,不如季节基线):
| 配置 | MASE(含重采样) | CRPS(含重采样) |
|---|---|---|
| m4_hourly/H(M4 小时级) | 1.419 | 0.709 |
| m4_daily/D(M4 日级) | 1.114 | 1.008 |
| bizitobs_application/10S/long(10 秒云运维) | 1.109 | 1.215 |
| ett2/W/short(周频经济数据) | 1.165 | 0.738 |
规律与官方 Limitations 一节吻合:裸模型本质是短 horizon 模型,中长 horizon 靠重采样层撑住;最弱的三类是 10 秒级云运维 trace、带周节律的小时级数据(m4_hourly)以及低频经济序列(M4 weekly / yearly)。有意思的是,重采样层对"长 horizon 短板"的修复非常显著——例如 electricity/H/long 从裸模型 MASE 0.959 降到 0.918,ett2/D/short 从 1.119 降到 0.898。
成绩背后的代价与边界,必须诚实地说
- 推理成本:重采样层让每条序列的前向次数从 1 变成 20~40 倍,实时高吞吐场景要掂量;
- 单变量模型:不接收外生变量、多变量输入;
- 频率必须声明:模型依赖"24 / season"的频率约定设置采样间隔,没有频率检测器——不声明频率的它就不是卡上这个它(详见 README.md)。
如何验证与复现这份成绩
仓库内已包含复现所需的全部文件:
- model.safetensors + config.json:可直接加载的权重与模型结构;
- epoch00_valloss1.2814.ckpt:原始 Lightning checkpoint,用于通过评测脚本精确复现;
- calibration_gamma.json:分位数扇形标定因子(仅对该 checkpoint + sign-flip + 频率规则组合有效)。
官方复现路径是 TimeSSM 仓库的一条评测命令(EVAL_CONFIG=timessm_2.5m_gift),配置文件中携带了本卡全部推理设置:频率规则、sign-flip 平均、回测重采样(降采样 2~48、升采样 2~4、四个窗口池化回测)与标定文件;裸模型成绩则是第二条命令。本地跑预测只需安装timessm库后from_pretrained加载本目录,model.forecast(context, horizon, w=w)即可拿到九个分位数(最小可运行示例见 README.md)。
小结:小模型的"硬实力"叙事
- 裸模型:2.5M 参数、一次前向,CRPS 0.5451,已优于 48M 参数的 Chronos-Bolt small;
- 加重采样层:CRPS 0.5128、MASE 0.7544,冲入 10M 参数以下档位的 Top 2;
- 零样本、零榜单拟合:训练语料构造上排除评测源,checkpoint 不做挑选;
- 独特能力:采样间隔作为推理期旋钮,同一套权重适配任意频率。
对于资源有限但想要"开箱即用 + 概率预测"的用户,TimeSSM-2.5M 是目前 GIFT-Eval 榜单上参数效率最高的选择之一。
- 人工智能
- 基础模型
- 机器学习
- 深度学习
【免费下载链接】timessm-2.5m
相关推荐
Timestral-123M基准测试全解读:时序预测GIFT-Eval、TIME与fev-bench成绩背后的MASE与CRPS
Timestral 123M基准测试全解读:时序预测GIFT Eval、TIME与fev bench成绩背后的MASE与CRPS Timestral 123M
GIFT-Eval、TIME与fev-bench怎么读:Timestral-28M基准成绩一次看懂
GIFT Eval、TIME与fev bench怎么读:Timestral 28M基准成绩一次看懂 Timestral 28M 是 Mistral AI 发布的
人工智能基础模型深度学习270M模型的函数调用能力有多强?FunctionGemma-270m-it-GGUF的BFCL基准成绩深度解读
270M模型的函数调用能力有多强?FunctionGemma 270m it GGUF的BFCL基准成绩深度解读 FunctionGemma 270m it G
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考