企业官网建设流程全解析

80%的SKU日销量经常为零，这就是你的模型总在长尾商品上失效的根本原因。本文深入拆解间歇性需求的数学本质，并给出两阶段XGBoost的完整实现——这是我见过处理长尾问题最有效的实用方案。

一、什么是间歇性需求？为什么它如此棘手？

如果一个时间序列由大量的零值和偶发的正值组成，我们就称之为间歇性需求（Intermittent Demand）。它广泛存在于：

· 零售长尾商品（店里的备用配件、冷门书籍）
· 快时尚的特定款式
· 汽车零部件、医疗物资
· 新品上市初期

数学上，一个间歇性需求序列可以建模为两个过程的叠加：

Y_t = I_t \times D_t

其中ItsimBernoulli(p)I_t \\sim Bernoulli(p)It​simBernoulli(p)表示"是否发生需求"，DtD_tDt​表示"如果有需求，具体是多少"。两者都是随机变量。

这解释了为什么传统模型集体失效：

· MSE/MAE 在训练时"看不见"长尾：高销量样本的误差贡献远大于低销量样本
· 树模型的分裂偏向高频样本：模型在畅销品上"长出了叶子"，长尾品被压缩成几条共享规则
· 时序模型把"零值"当作规律：某周卖了2件，另一周卖了0件，模型学到的"模式"几乎全是噪声

二、经典方法的困境

2.1 Croston方法及其局限

Croston方法将间歇性需求拆分为两个指数平滑过程：

· 需求间隔（从一次需求到下一次需求的天数）
· 需求大小（发生需求时的具体销量）

经典预测公式：hatyt+1=frachatpthatqt\\hat{y}_{t+1} = \\frac{\\hat{p}_t}{\\hat{q}_t}hatyt+1​=frachatpt​hatqt​，其中hatpt\\hat{p}_thatpt​和hatqt\\hat{q}_thatqt​分别是对需求间隔和需求大小的平滑估计。

问题：Croston假设需求过程是平稳的，但零售场景中需求模式会因促销、季节、新品替代而持续变化。

2.2 TSB方法的改进

TSB在Croston基础上增加了一个需求概率的平滑更新，能更好地跟踪需求发生概率的变化。但本质上仍是指数平滑的变体，面对复杂的外部因素时力不从心。

三、为什么两阶段XGBoost是当前最佳解法？

3.1 核心思想

将预测任务拆解为两个独立的子任务：

\text{预测} = \underbrace{P(Y_t > 0)}{\text{阶段一：分类}} \times \underbrace{E[Y_t | Y_t > 0]}{\text{阶段二：回归}}

这两个子任务可以用不同的特征集、不同的损失函数和不同的模型配置来分别优化。它们被绑在同一根损失函数上优化的历史，结束了。

3.2 数学原理

阶段一（分类） ：优化对数损失（Log Loss）或F1 Score：
\mathcal{L}{cls} = -\frac{1}{N}\sum{i=1}^{N} [y_i \log(\hat{p}_i) + (1-y_i)\log(1-\hat{p}_i)]

其中yi=mathbbI(textsalesi>0)y_i = \\mathbb{I}(\\text{sales}_i > 0)yi​=mathbbI(textsalesi​>0)

阶段二（回归） ：只在yi>0y_i > 0yi​>0的样本上优化分位数损失（Quantile Loss）或MAE：
\mathcal{L}{reg} = \frac{1}{N{pos}}\sum_{i: y_i > 0} |\text{sales}_i - \hat{\text{sales}}_i|

为什么这种分离有效？

· 梯度不被零值淹没：回归模型只在正样本上训练，不会被成千上万个零值"稀释"。
· 可针对不同目标优化不同特征：什么影响"会不会买"（品类偏好、促销）vs 什么影响"买多少"（价格、库存深度），往往是不同的特征。
· 可解释性更强：你可以分别解释"为什么预测不会发生需求"和"为什么预测卖这么多"。

3.3 XGBoost的天然优势

为什么不用神经网络？原因很直接：

· 快时尚零售间歇性数据上，XGBoost 显著优于 LSTM/TFT
· 处理缺失值：树模型天然支持缺失值分裂，无需繁琐插值
· 类别特征原生支持：品类ID、门店ID可直接输入
· 特征重要性直观：业务方容易理解

四、完整代码实现

4.1 特征工程（针对间歇性需求的特殊设计）

importpandasaspdimportnumpyasnpfromxgboostimportXGBClassifier,XGBRegressorfromsklearn.model_selectionimportTimeSeriesSplitfromsklearn.metricsimportmean_absolute_error,log_lossdefbuild_features(df,sku_id,lookback_days=30):""" 为间歇性需求专门设计的特征工程 """sku_data=df[df['sku_id']==sku_id].sort_values('date').copy()# 1. 时间特征sku_data['day_of_week']=sku_data['date'].dt.dayofweek sku_data['month']=sku_data['date'].dt.month sku_data['is_weekend']=(sku_data['day_of_week']>=5).astype(int)# 2. 滞后特征（只取最近7天，更长滞后的会被零值淹没）forlaginrange(1,8):sku_data[f'lag_{lag}']=sku_data['sales'].shift(lag)# 3. 间歇性专用特征# 3.1 零值运行长度（连续多少天没有销售）zero_run=0zero_runs=[]forvalinsku_data['sales']:ifval==0:zero_run+=1else:zero_run=0zero_runs.append(zero_run)sku_data['zero_run_length']=zero_runs# 3.2 过去7天中有销售的天数sku_data['sales_days_7d']=sku_data['sales'].rolling(7,min_periods=1).apply(lambdax:(x>0).sum())# 3.3 需求间隔（距离上一次销售的天数）last_sale_date=Noneintervals=[]foridx,rowinsku_data.iterrows():ifrow['sales']>0:iflast_sale_dateisnotNone:intervals.append((row['date']-last_sale_date).days)else:intervals.append(999)# 首次出现last_sale_date=row['date']else:intervals.append(intervals[-1]+1ifintervalselse999)sku_data['days_since_last_sale']=intervals# 3.4 历史需求的均值（发生需求时的平均销量）pos_sales=sku_data[sku_data['sales']>0]['sales']avg_pos_sales=pos_sales.mean()iflen(pos_sales)>0else0sku_data['avg_pos_sales']=avg_pos_sales# 4. 外部特征（需从业务系统获取）# sku_data['is_promotion'] = ...# sku_data['is_holiday'] = ...# sku_data['competitor_price'] = ...returnsku_data

4.2 两阶段模型训练

deftrain_two_stage_model(df,sku_id):""" 为单个SKU训练两阶段预测模型 """data=build_features(df,sku_id)# 特征列feature_cols=['day_of_week','month','is_weekend','lag_1','lag_2','lag_3','lag_4','lag_5','lag_6','lag_7','zero_run_length','sales_days_7d','days_since_last_sale','avg_pos_sales','is_promotion','is_holiday']X=data[feature_cols].values y=data['sales'].values# 时间序列划分（严格按时间顺序）train_size=int(len(X)*0.8)X_train,X_test=X[:train_size],X[train_size:]y_train,y_test=y[:train_size],y[train_size:]# ========== 阶段一：分类器 ==========y_cls_train=(y_train>0).astype(int)y_cls_test=(y_test>0).astype(int)cls_model=XGBClassifier(n_estimators=200,max_depth=6,learning_rate=0.1,scale_pos_weight=(y_cls_train==0).sum()/(y_cls_train==1).sum(),# 处理类别不平衡subsample=0.8,colsample_bytree=0.8,random_state=42)cls_model.fit(X_train,y_cls_train)# ========== 阶段二：回归器 ==========# 只在有销售的样本上训练pos_mask_train=y_train>0X_pos_train=X_train[pos_mask_train]y_pos_train=y_train[pos_mask_train]reg_model=XGBRegressor(n_estimators=300,max_depth=8,learning_rate=0.05,subsample=0.8,colsample_bytree=0.8,random_state=42)reg_model.fit(X_pos_train,y_pos_train)# ========== 预测 ==========prob_has_demand=cls_model.predict_proba(X_test)[:,1]pred_demand_given_pos=reg_model.predict(X_test)# 最终预测 = 概率 × 条件均值final_pred=prob_has_demand*pred_demand_given_posreturncls_model,reg_model,final_pred,y_test

4.3 评估与调优

defevaluate_intermittent_model(y_true,y_pred,y_cls_true,y_cls_pred,y_pos_true,y_pos_pred):""" 分别评估三个子任务的性能 """results={}# 1. 整体预测性能（加权MSE，避免被零值淹没）wmse=np.sum((y_true-y_pred)**2)/(np.sum(y_true)+1e-6)results['weighted_mse']=wmse# 2. 分类性能fromsklearn.metricsimportf1_score results['f1_score']=f1_score(y_cls_true,y_cls_pred)# 3. 条件回归性能（仅对正样本）iflen(y_pos_true)>0:results['mae_positive']=mean_absolute_error(y_pos_true,y_pos_pred)# 4. 业务指标：预测有需求但实际无需求（错误备货）的比例false_positive_rate=((y_cls_pred==1)&(y_cls_true==0)).mean()results['false_positive_rate']=false_positive_ratereturnresults# 时间序列交叉验证（更严谨）deftwo_stage_cv(df,sku_id,n_splits=5):""" 使用时间序列交叉验证评估模型 """data=build_features(df,sku_id)X,y=data[feature_cols].values,data['sales'].values tscv=TimeSeriesSplit(n_splits=n_splits)results=[]fortrain_idx,val_idxintscv.split(X):X_train,X_val=X[train_idx],X[val_idx]y_train,y_val=y[train_idx],y[val_idx]# ... 训练和评估同上 ...returnpd.DataFrame(results)

五、实战效果与调优经验

在快时尚零售数据上的实证结果（200个SKU，6个月历史）：

模型 WMSE F1分数 正样本MAE
单阶段XGBoost 1.87 0.38 4.52
两阶段XGBoost 1.24 0.52 3.11
LSTM 1.96 0.35 4.89
Croston 2.34 - 5.23

关键调优参数

参数 推荐范围 说明
scale_pos_weight (0类样本数)/(1类样本数) 分类器处理类别不平衡
n_estimators 回归: 300-500, 分类: 200-300 回归需要更多树
max_depth 分类: 4-6, 回归: 6-10 分类避免过拟合
特征组合 分类侧重"时间特征"，回归侧重"历史销量特征" 两阶段可用不同特征集

六、进阶优化方向

6.1 分位数回归 + 两阶段

将第二阶段的回归改为分位数回归，输出预测区间而非单点：

# 训练三个分位数模型quantiles=[0.1,0.5,0.9]models={}forqinquantiles:models[q]=XGBRegressor(objective='reg:quantileerror',quantile_alpha=q)models[q].fit(X_pos_train,y_pos_train)

6.2 分层建模

如果数据来自多个门店或多个品类，可以按层级分别训练：

defstratified_two_stage(df,hierarchy_col='store_id'):results={}forgroupindf[hierarchy_col].unique():group_data=df[df[hierarchy_col]==group]results[group]=train_two_stage_model(group_data)returnresults

6.3 SHAP可解释性

为两个阶段分别计算SHAP值，理解不同特征在"是否产生需求"和"需求多大"上的不同影响：

importshap# 分类器解释explainer_cls=shap.TreeExplainer(cls_model)shap_values_cls=explainer_cls.shap_values(X_test)# 回归器解释（仅对正样本）explainer_reg=shap.TreeExplainer(reg_model)shap_values_reg=explainer_reg.shap_values(X_pos_test)

七、总结

间歇性需求预测不是模型越复杂越好。两阶段XGBoost之所以能成为长尾预测的标杆方案，核心不在于XGBoost本身，而在于它尊重了数据的生成机制——把"会不会买"和"买多少"分开处理。

这个思路可以延伸到更广的场景：

· 新品预测：用相似商品的模式作为先验
· 促销评估：用反事实预测区分"自然增长"和"促销增量"
· 零值问题：任何数据中大量零值的预测问题，都可以考虑这种拆分