浅谈归因分析和模型可解释性

最近遇到一个命题：

赛事对游戏的价值分析
问题拆解：
从各个维度去分析、对比，赛事用户与非赛事用户之间的差异，以此来评估赛事对游戏的价值反哺（注：看王者赛事的用户我们称为：赛事用户）
考查要点：

• 1）需要说明分析思路，逻辑等；
• 2）需要说明具体所用的具体数据分析/统计/数据挖掘等方法；
• 3）可以用PPT或者word等报告形式呈现整个过程，主要想看下讲故事的能力包括事情描述的呈现能力

从命题上来看，要求“对比赛事用户与非赛事用户之间的差异”，来评估赛事对游戏价值的影响，看到问题后最纠结的点是“是不是一定要分析赛事用户与非赛事用户之间的差异，从而来评估赛事对游戏的价值？”。如果是的话思路应该是以赛事用户和非赛事用户分别作为条件，去统计各种行为数据建立报表，从而进行差异分析来判断。如果不是，则可以使用一些方法直接来估计赛事对游戏价值的分析。探讨这个命题比较保守的思路是前一种解读，而我想选择后一种比较冒险的解决来进行探讨，即不是一定要去对比赛事用户与非赛事用户之间的差异，给出一些方法来探讨赛事对游戏价值的反哺。

由于之前没有数据分析和数据挖掘相关的实践经验，看完命题之后第一件事就是去调研相关的领域知识，正所谓“工欲善其事必先利其器”嘛。粗略找了几个调研的方向，下面是这些方向和选这些方向的原因

1. 概率论与数理统计：条件概率和条件期望可以建模随机变量之间的关系。在命题中，以某种目标（例如购买游戏道具消费金额、登录游戏时长、购买游戏周边消费金额等等）和是否赛事用户为两个随机变量，计算条件概率和条件期望，可以简单快速分析和对比赛事用户和非赛事用户之前的行为差异，从而判断出赛事的对游戏的价值。
2. 归因分析：归因分析通常解决的问题是广告效果的产生，其功劳应该如何合理的分配给哪些渠道。在命题中，可以把观看比赛作为一种“投放渠道”，从而借助归因分析的手段判断观看赛事这个渠道的重要性。
3. 模型可解释性：如果以观看比赛和其他各种因子作为特征，用机器学习模型来预测某个目标行为是否发生，那么用模型可解释性方法就可以推断出来观看比赛这个特征对游戏价值的影响。

接下来的篇幅先介绍一个几个方向的预备知识，再回归命题进行讨论。由于概率论与数理统计方法比较纯粹简单，方法调研只关注归因分析和模型可解释性。

预备知识调研

归因分析

广告的投放往往跨越了各种渠道，比如搜索引擎，app推荐，消息推送等。这些渠道通过向买家曝光广告加深商品映像，进而影响买家的购买行为（或者注册、留存等）。为了提高广告投放的效率，自然就要去分析不同渠道对最终转化所做的贡献。

归因问题可以分为两类：数据级归因和单样级归因。

数据级归因 (general causality) , 用数学语言来表达, 即寻找最优的节点取值组合 $X=x$, 使得目标节点 $Y$ 及其取值 $y$ 的概率 $P(Y=y \mid do(X=x))$ 最大. 这类问题在许多场景中都有涉及. 在风控场景中, 以赌博、套现等行为作为目标, 需要寻找最优的规则, 使得预测的准确度提高且满足业务的可解释要求; 在推荐场景, 以点击、购买作为目标, 需要寻找最优的推荐策略, 使得 CTR, CVR, GMV 等营销指标最大化.

样本级归因 (singular causality 或 actual causality). 对于单个样本 $Y=y, X_1=x_1,…,X_n=x_n$, 需要寻找导致 $Y=y$ 的具体原因是什么, 即各因子的重要性排序. 该问题常常出现在监控场景, 如异常业务指标的原因发现和解释, 为后续的干预手段提供依据.

命题中的问题是数据级归因问题，因此这里也主要调研了数据级归因的方法。

归因模型指一个规则集，用于解释和衡量转化路径中每个接触点所贡献的转化量或转化价值。归因模型可以分为启发式、数据驱动、机器学习几个大类，分别简单介绍一下。

启发式归因

启发式归因包括：末次互动模型、末次非直接点击互动模型、末次渠道互动模型、首次互动模型、线性归因模型（也叫平均归因模型）、时间衰减归因模型、基于位置的归因模型（也叫U型归因）

末次互动模型 （Last Click）

简单的说就是最后一次互动的渠道获得100%的功劳。

优点：首先它是最容易测量的归因模型，在分析计方面不容易发生错误。另外由于大部分追踪的cookie存活期只有30-90天（淘宝广告的计算周期最长只有15天)，对于顾客的行为路径、周期比较长的场景，在做归因分析的时候可能就会发生数据的丢失，而对于末次互动模型，这个数据跟踪周期就不是那么特别重要了。

弊端：这种模型的弊端也是比较明显，比如客户是从收藏夹进入商品详情页然后形成了成交的，按照末次归因模型就会把100%的功劳都归功于收藏夹（直接流量）。但是真实的用户行为路径更接近于产生兴趣、信任、购买意向、信息对比等各种环节，这些都是其他渠道的功劳，在这个模型中则无法统计进来，而末次渠道的功劳评估会被大幅高估。

适用于：转化路径少、周期短的业务，或者就是起临门一脚作用的广告，为了吸引客户购买，点击直接落地到商品详情页。

末次非直接点击互动模型

上面讲到的末次互动模型的弊端是数据分析的准确性受到了大量的”直接流量”所误导，所以对于末次非直接点击模型，在排除掉直接流量后会得到稍微准确一点的分析结果。

在营销分析里，直接流量通常被定义为手动输入URL的访客流量。然而，现实是市场上的所有分析工具都把没有来源页的流量视为直接流量。比如：文章里没有加跟踪代码的链接、用户直接复制粘贴URL访问等等

从上面的案例中，我们可以想象，用户是从淘宝收藏夹里点了一个商品然后进行了购买，但是实际上他可能是点了淘宝直通车后把这个商品加入到收藏夹的，那么在末次非直接点击互动模型里，我们就可以把这个功劳归功于淘宝直通车。

适用于：如果你的公司认为，你们业务的直接流量大部分都被来自于被其他渠道吸引的客户，需要排除掉直接流量，那么这种模型会很适合你们。

末次渠道互动模型

末次渠道互动模型会将100%的功劳归于客户在转化前，最后一次点击的广告渠道。需要注意这里的”末次互动”是指任何你要测量的转化目标之前的最后一次互动，转化目标可能是销售线索、销售机会建立或者其他你可以自定义的目标。

优点：这种模式的优点是通常跟各渠道的标准一致，如Facebook Insight使用末次Facebook互动模型，谷歌广告分析用的是末次谷歌广告互动模型等等。

弊端：很明显当你在多渠道同时投放的时候，会发生一个客户在第一天点了Facebook的广告，然后在第二天又点击了谷歌广告，最后并发生了转化，那么在末次渠道模型中，Facebook和谷歌都会把这次转化的100%功劳分别归到自己的渠道上。这就导致各个部门的数据都看起来挺好的，各个渠道都高估了自己影响力，而实际效果则可能是折半，如果单独使用这些归因模型并且把他们整合到一个报告中，你可能会得到”翻倍甚至三倍”的转化数据。

首次互动模型 （First Click）

首次互动的渠道获得100%的功劳。

如果，末次互动是认为，不管你之前有多少次互动，没有最后一次就没有成交。那么首次互动就是认为，没有我第一次的互动，你们剩下的渠道连互动都不会产生。

换句话说，首次互动模型更加强调的是驱动用户认知的、位于转化漏斗最顶端的渠道。

优点：是一种容易实施的单触点模型

弊端：受限于数据跟踪周期，对于用户路径长、周期长的用户行为可能无法采集真正的首次互动。

适用于：这种模型适用于没什么品牌知名度的公司，关注能给他们带来客户的最初的渠道，对于扩展市场很有帮助的渠道。

线性归因模型（平均归因模型，Linear）

对于路径上所有的渠道，平等地分配他们的贡献权重。

线性归因是多触点归因模型中的一种，也是最简单的一种，他将功劳平均分配给用户路径中的每一个触点。

优点：他是一个多触点归因模型，可以将功劳划分给转化漏斗中每个不同阶段的营销渠道。另外，他的计算方法比较简单，计算过程中的价值系数调整也比较方便。

弊端：很明显，线性平均划分的方法不适用于某些渠道价值特别突出的业务。比如，一个客户在线下某处看到了你的广告，然后回家再用百度搜索，连续三天都通过百度进入了官网（真实用户场景也许就是用户懒得记录或者收藏官网地址），并在第四天成交。那么按照线性归因模型，百度会分配到75%的权重，而线下某处的广告得到了25%的权重，这很显然并没有给到线下广告足够的权重。

适用于：根据线性归因模型的特点，他更适用于企业期望在整个销售周期内保持与客户的联系，并维持品牌认知度的公司。在这种情况下，各个渠道在客户的考虑过程中，都起到相同的促进作用。

时间衰减归因模型（Time Decay）

对于路径上的渠道，距离转化的时间越短的渠道，可以获得越多的功劳权重。

时间衰减归因模型基于一种假设，他认为触点越接近转化，对转化的影响力就越大。这种模型基于一个指数衰减的概念，一般默认周期是7天。也就是说，以转化当天相比，转化前7天的渠道，能分配50%权重，前14天的渠道分25%的权重，以此类推.

优点：相比线性归因模型的平均分权重的方式，时间衰减模型让不同渠道得到了不同的权重分配，当然前提是基于”触点离转化越近，对转化影响力就越大”的前提是准确的情况下，这种模型是相对较合理的。

弊端：这种假设的问题就是，在漏洞顶部的营销渠道永远不会得到一个公平的分数，因为它们总是距离转化最远的那个。

适用于：客户决策周期短、销售周期短的情况。比如，做短期的促销，就打了两天的广告，那么这两天的广告理应获得较高的权重。

基于位置的归因模型（U型归因，Position Based）

于位置的归因模型，也叫U型归因模型，它其实是混合使用了首次互动归因和末次互动归因的结果。

U型归因模型也是一种多触点归因模型，实质上是一种重视最初带来线索和最终促成成交渠道的模型，一般它会给首次和末次互动渠道各分配40%的权重，给中间的渠道分配20%的权重，也可以根据实际情况来调整这里的比例。

U型归因模型非常适合那些十分重视线索来源和促成销售渠道的公司。该模型的缺点则是它不会考虑线索转化之后的触点的营销效果，而这也使得它成为销售线索报告或者只有销售线索阶段目标的营销组织的理想归因模型。

数据驱动归因

数据驱动的归因模型包括：

• 基于沙普利值的归因模型
• 基于马尔科夫链的归因模型

基于沙普利值的归因模型 （The Shapley Value-based）

沙普利值最先运用在协作游戏中，用以计算各个协作玩家对于达成游戏中某项任务的贡献值。

在一个典型的沙普利式协作游戏中，协作的玩家们达成了某项任务并获取到了全队的总分值”The Value”。那么某个玩家在这项任务中所获得的沙普利值(The Shapley Value) ，就是通过计算该玩家在这组玩家所有可能的协作组合中的期望边际贡献值(Expected Marginal Contribution)。

求沙普利值的思路：计算各个玩家在这组玩家所有可能的协作组合中的期望边际贡献值(Expected Marginal Contribution)。

在广告归因领域，一个渠道/媒体对转化贡献的沙普利值是指：该渠道/媒体在所有可以促成转化的广告交互组合中所拥有的期望边际贡献值。

基于马尔科夫链的归因模型（The Markov Chain-based）

什么是马尔科夫链模型？

马尔科夫链模型来自于数学家Andrew Markov所定义的一种特殊的有序列。马尔科夫链(Markov Chain)，描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔科夫链是具有马尔科夫性质的随机变量的一个数列。

马尔科夫链思时间、状态都是离散的马尔科夫过程，是将来发生的事情，和过去的经理没有任何关系。

马尔科夫链表示系统在t+1时间的状态只与系统在t时间的状态有关系，与系统在t-1,t-2,…,t0时间的状态无关，平稳马尔科夫链的转化矩阵可以用最大似然估计，也就是统计各状态之间的转化概率计算得到。

用马尔科夫链图定义渠道推广归因模型：

1. 状态集合，定义为 banner,text,keyword,link,video,mobile,unknown 7种推广类型加上start,null,conversion 3种系统状态
2. 稳定状态下的转化矩阵，通过某公司web网站20天的原始click数据计算的得到如下状态转化矩阵
3. 利用该转化矩阵来构造有向图（Directed Graph），通过计算从节点start到节点conversion的所有非重复路径（Simple Path）的累乘权重系数之和来计算移除效应系数
4. 通过移除效应系数，计算各个状态的转化贡献值

什么是移除效应？

渠道的移除效应定义为：移除该状态之后，在start状态开始到conversion状态之间所有路径上概率之和的变化值。通过计算各个渠道的移除效应系数，根据移除效应系数在总的系数之和之中的比例得到渠道贡献值。移除效应实际上反映的是移除该渠道之后系统整体转化率的下降程度。

机器学习归因

贝叶斯网络

贝叶斯网络是概率图模型中的有向图，要求网络是有向无环图。有向概率图中的节点一般是随机变量，而边表示随机变量之间的因果关系。

贝叶斯网络包含两个求解问题：结构学习和参数学习。

结构学习：给定一个网络和每个节点的静态切片样本, 结构学习的任务是寻找出最优的网络结构, 从而用贝叶斯网络的条件独立性来解释节点间的因果关系. 这里最优的目标一般是观测样本的似然概率。

参数学习：所谓参数估计, 就是在给定网络结构时, 使用样本数据对节点的条件概率表做更新. 参数估计本身并没有什么直接应用, 计算也不复杂, 它是后续网络推断和归因分析的前置任务.

贝叶斯网络用于归因分析：给定一组节点的输入, 求得其余节点的取值概率是网络的推断问题; 反过来, 给定某些节点的取值, 寻找导致这一特定结果的最优输入则是网络的归因问题. 例如, 在支付宝场景, 需要寻找哪些端内应用或组合对于支付次数产生了关键的影响, 从而辅助运营人员进行活动部署.

方法一：使用贝叶斯网络推断算法求 $P(Y=y \mid X=x)$. 该方法的瓶颈是, 无论是精确推断还是近似推断, $P(Y=y \mid X=x)$ 的计算都是相当耗时的, 大规模的搜索很难在有限时间内得到结果. 相对于精确推断无解而言, LBP 在进行了消息并发传播、异步计算等改造后, 性能尚能满足工业需求.

方法二：从样本中直接计算 $P(Y=y)$ 和 $P(X=x)$ , 从而得到 $P(Y=y \mid X=x)$, 但这种方式丢弃了网络结构的信息. 事实上, 在方法一中, 网络推断的计算的本质是从 $Y=y$ 到 $X=x$ 的路径中条件概率的叠加, 而这些条件概率包含了先验分布信息, 这些先验分布在一定程度上将数据得到的经验分布磨平. 当 $Y=y$ 到 $X=x$ 的路径很长时, 先验分布的累积使得 $P(Y=y \mid X=x)$ 得到修正, 这时的条件概率值相比于直接计算 $P(Y=y)$ 和 $P(X=x)$ 得到的经验分布, 会更接近于均匀分布. 因此, 从样本中计算 $P(Y=y \mid X=x)$ 丢弃了网络结构的信息.

方法三：利用贝叶斯公式 $P(Y=y \mid X=x)=P(X=x \mid Y=y)*P(Y=y)/P(X=x)$,通过估计 $P(X=x \mid Y=y)$ 从而计算出$P(Y=y \mid X=x)$。

深度学习归因

近些年来，也出现了一些使用深度学习技术来求解归因分析问题了尝试，代表性的论文是NeurIPS 2019 的一篇 《Deep Model Transferability from Attribution Maps》,该方法大概理解为把模型输入通过深度模型转化为归因图，归因图体现输入特征的重要程度。这里先不详细介绍了。

模型可解释性

模型解释分为两类，一类是全局的解释性，衡量特征在模型中起的整体作用，另一类是局部的解释性，目的是对一个特定的预测条目，衡量该条样本预测分高的原因。两类解释具有较大区别，以线性模型的解释为例，对于进行了归一化处理后的特征而言，最终的模型权重绝对值即为全局的特征重要性，因为权值越大该特征对最终分值影响越大，而对于一个取得高分的具体预测实例而言，可能在全局最重要的特征上，其分值较小，在该条样本的得分计算上并无多大贡献，因此对于线性模型单条样本的局部解释性，会使用权值乘以特征值来作为该维特征的贡献度，从而得到各个特征间的重要性排序。

可解释模型（Interpretable Models）

可解释模型是指模型本身就是带有可解释性特点的，一般这种模型都是比较简单白盒的模型，主要包括：

• 线性回归（Linear Regression）：如果把线性回归的特征进行归一化，那么模型权重的大小和正负来估计特征的重要度
• 逻辑回归（Logistic Regression）：与线性回归类似，也是对特性进行归一化后，通过权重的大小和正负来估计特征的重要度
• 决策树（Decision Tree）：决策树的每个内部节点包含一个特征和一个条件，从根节点到叶节点是一个决策路径。对于单样本来说，决策路径就是解释原因，对模型本身来说，越重要的特征离根节点越近。
• 朴素贝叶斯（Naive Bayes）：朴素贝叶斯模型中，可以通过贝叶斯公式和边缘条件概率（概率累加）来计算某个特征条件下目标变量发生的概率。
• k-近邻等（k-nearest neighbors）：k-近邻方法很简单，可以通过因为和我相似的一些朋友这样做，所以我也这样做。

可解释方法（Model-Agnostic Methods）

可解释方法是对一些不可解释的模型（Model-Agnostic，也叫不可知模型，例如深度学习模型等），通过附加可解释方法来辅助判断模型判断某个样本背后的特征原因。可解释方法一般都是局部解释性方法。 可解释方法包括：

• Partial Dependence Plot (PDP)
• Individual Conditional Expectation (ICE)
• Accumulated Local Effects (ALE) Plot
• Feature Interaction
• Permutation Feature Importance
• Global Surrogate
• Local Surrogate (LIME)
• Scoped Rules (Anchors)
• Shapley Values
• SHAP (SHapley Additive exPlanations)

由于时间原因，没有详细调研，后续补上。

基于示例的可解释（Example-Based Explanations）

基于示例的可解释方法选择一些特别的样本来解释机器学习模型的行为或者去解释数据集背后潜在的分布。主要方法包括：

• Counterfactual Explanations
• Adversarial Examples：对抗示例
• Prototypes and Criticisms
• Influential Instances：影响力样本

由于时间原因，没有详细调研，后续补上。

神经网络可解释性 （Neural Network Interpretation）

神经网络可解释性主要是探索一些解释神经网络行为的方法，主要包括：

• 特征可视化（Feature Visualization）: 用在图像领域通过梯度等方法来可视化对分类起决定性作用的局部区域，在NLP高亮一些词汇。
• 抽象概念（Concepts）: 通过设定一些抽象概念（比如隐藏单元和一些label做绑定关联），通过隐藏单元的激活来判定解释性
• 特征归因（Feature Attribution）: 特征归因有一些简单的方法就是通过移除和添加特征观测对输出的影响来判定特征重要性。
• 模型蒸馏（Model Distillation）: 通过把复杂模型蒸馏成小模型（可解释模型），使小模型达到和大模型差不多的精度，通过小模型来做解释。

回归命题探讨

上面主要讲述了一些前置基础知识的准备，那回归过来重新看看怎么解答命题中的问题。

探索赛事对游戏的价值？那先要设定一个目标，看看赛事对已经设定目标的影响。按照我个人对游戏行业的理解，游戏转化可能包括几个：

• 游戏道具消费金额：英雄、铭文、皮肤（可以具体到某个英雄和皮肤，因为比赛时会有MVP角色和FMVP皮肤等）等消费金额总和
• 游戏周边消费金额：手办、鼠标垫、T-恤等消费金额总和
• 赛事相关消费金额：竞猜币、点赞道具等消费金额总和
• 游戏在线时长：在一段时间内总游戏时长
• 游戏对局数量：在一段时间内总参与对局数量
• 新用户流入：是否注册成为游戏新用户
• 老用户留存：一段时间不登录游戏后，是否重新登录游戏

下面我们只以单一一个目标“游戏道具消费金额”来讨论这个命题。

方案一 概率论与数理统计

条件概率和条件期望可以建模随机变量之间的关系。在这个方法中，需要建立一个数据报表。

令 $U \in [赛事用户，非赛事用户]$ 表示用户类型，$T \in [比赛前，比赛中，比赛后]$ 表示时间范围，$C \in R$ 表示消费金额，那么分别计算

有了上面这些计算结果之后，就可以进行一些简单的分析了，举两个例子

• $E(C \mid T=比赛中) - E(C \mid T=比赛前)$ 表示比赛过程中用户整体游戏道具消费金额提升期望值
• $(E(C \mid U=赛事用户,T=比赛中) - E(C \mid U=赛事用户,T=比赛前))$ - $(E(C \mid U=非赛事用户,T=比赛中) - E(C \mid U=非赛事用户,T=比赛前))$ 表示赛事用户在游戏过程中消费金额提升比非赛事用户提升高多少，能看出来赛事能否刺激赛事用户消费。

更多数据对比就不再详细讲了。

方案二 归因分析

归因分析方法需要收集用户的行为序列日志，用户行为包括各个渠道的访问（例如观看比赛，接受app push，点击app push）是否进行转换（例如购买游戏道具）。收集完行为日志后，就可以做上面讲的各种归因方法了。

这里以基于马尔科夫链的归因模型举例来讲解：假设用户行为包含5种，[观看比赛，登录游戏，点击app_push，进行游戏对局，购买游戏道具]，那可以通过极大似然估计来从所有用户的中学习马尔科夫链的概率转移矩阵。那么通过计算从 start 到 购买游戏道具 的累积概率，以及移除 观看比赛 后从 start 到 购买游戏道具 的累积概率来判断 观看比赛对购买有道具的影响。

方案三 模型可解释

可解释模型与归因分析方法类似，也需要收集用户的行为序列日志。

这里以线性回归为例来讲解：假设用户行为包含4种，[观看比赛，登录游戏，点击app_push，进行游戏对局]，那我们以这4种行为作为特征，购买游戏道具的金额作为目标可以训练一个线性回归模型。训练好模型之后，可以通过观看比赛这个特征的权重来推断出赛事对于游戏道具购买的影响。

其实以上讲的所有方案以及各个方案里面的子方法各有利弊，在实践中可以多种方法一起来使用，做融合决策（简单投票等）可以更好、更全面的进行分析。

其他探讨性话题

1. 英雄热度与比赛的关联性：用于定制英雄皮肤
2. 比赛所在城市对赛事用户、非赛事用户的影响：可以帮助城市的选址，提高比赛热度、收益，甚至能促进城市旅游业发展
3. 赛事用户中不同年龄、不同性别用户之间的行为差异
4. 赛事中不同战队的胜负对赛事用户行为的影响
5. 观看游戏时长不同的赛事用户行为之间的差异

参考文献

• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer
• Interpretable Machine Learning
• Scott M. Lundberg, Su-In Lee. (2017) A Unified Approach to Interpreting Model Predictions. NIPS 2017.
• Probabilistic reasoning in intelligent systems
• https://github.com/interpretml/interpret
• Deep Model Transferability from Attribution Maps
• https://www.fiddler.ai/
• 归因分析(Attribution Analysis)模型解析
• 机器学习能解决归因问题吗？丨 MarTech专栏
• 常见的归因模型有哪几种？
• 如何一眼识别伪效果评估?
• 归因分析-数字小站
• 简单梳理一下机器学习可解释性（Interpretability）

• Previous
  SMART 介绍