特征监控方案
指标
时效性
特征的时效性对于决策具有重要意义，因为同一事物在不同时间段可能会在性质上具有很大差异，时效性影响着决策的有效时间。拿美团的点击下单率预测为例，用户在不同时间段的兴趣可能是不一样的，因为预测用户的下单行为要根据用户近期的兴趣特征来判断。
覆盖率
监控特征的覆盖率，实时计算拥有该特征的样本占的比例。
异常值
特征中的异常值可能会干扰决策结果，因此需要对拥有异常值的特征进行监控。
特征有效性分析
对特征的有效性进行分析，得到各个特征的特征权重，根据是否与模型有关可以分为：
- 与模型相关特征权重。使用所有的特征数据训练出来模型，看在模型中各个特征的权重，由于需要训练出模型，模型相关的权重与此次学习所用的模型比较相关。不同的模型有不同的模型权重衡量方法，例如线性模型中，特征的权重系数等。
- 与模型无关特征权重。主要分析特征与label的相关性，这样的分析是与这次学习所使用的模型无关的。与模型无关特征权重分析方法包括：(1)交叉熵，(2)Information Gain，(3)Odds ratio，(4)互信息，(5)KL散度等。
特征监控
在机器学习任务中，特征非常重要。
- 通常来说，80%的效果由特征带来。下图是随着特征数的增加，最终模型预测值与实际值的相关系数变化。
对于重要的特征进行监控与有效性分析，了解模型所用的特征是否存在问题，当某个特别重要的特征出问题时，需要做好备案，防止灾难性结果。需要建立特征有效性的长效监控机制 我们对关键特征进行了监控，下面特征监控界面的一个截图。通过监控我们发现有一个特征的覆盖率每天都在下降，与特征数据提供方联系之后，发现特征数据提供方的数据源存在着问题，在修复问题之后，该特征恢复正常并且覆盖率有了较大提升。
在发现特征出现异常时，我们会及时采取措施，对服务进行降级处理，并联系特征数据的提供方尽快修复。对于特征数据生成过程中缺乏监控的情况也会督促做好监控，在源头解决问题。