文章目录
- 1 腾讯看点：启动重置问题
- 2 滴滴的国际化外卖团队DiDi Food：智能补贴
- 3 浏览器：PUSH配额优化实践
- 4 腾讯
- 5 滴滴
- 6 优酷：推荐系统与因果推断
- 7 阿里飞猪：因果推断在广告算法中的实践
- 8 哈啰顺风车从推荐 -> 智能营销
- 9 阿里文娱：智能营销增益模型 ( Uplift Model ) 技术实践
- 10 快手因果推断与实验设计
- 11 腾讯广告：上线Uplift广告增效衡量
- 12 因果分析工具在快手的应用
- 13 周玉驰：因果分析在贝壳的探索实践
- 14 快手：Causal Machine Learning in User Growth
- 15 因果推断在快手推荐场景
- 16 因果推断实战：淘宝3D化价值分析小结
- 17 因果推断在BIGO：工具变量法
- 18 腾讯钱橙：AB实验只是开始？如何归因和解读才是王道！
- 19 腾讯游戏：因果推断在游戏中的应⽤：分布式推断模型
- 20 快手：频率错觉对用户影响的因果推断
- 21 内容消费行业借力数据科学驱动的供需策略破局业务增长
- 22 京东搜索：小流量、高波动场景下的实验方法论
- 23 巨量引擎：异质性因果模型方法与策略化落地
- 24 大淘宝用户增长：电商场景下有效干预策略实践
- 25 因果推断在工业界的应用
- 26 实用型因果推断方法在小红书的实践
1 腾讯看点：启动重置问题
来自datafuntalk -【2-1观测数据因果推断应用-启动重置体验分析】
1.1 观测数据 、 实验数据的理论介绍
前提假设，用户是随机分配的；
ATE是在实验数据中，Y(1)-Y(0)
rubin potitential outcome -> 实验数据
DAG,因果图 -> 观测数据，不过观测数据比较麻烦
试携子侄辈，披榛步荒墟。
- 第一次推荐的，是比较容易读的
- 里面的广告啥的，都关掉
2.2 启动重置问题阐述：短期、长期、异质
分析框架：
- 短期表现捕捉方式：被打断之后，下一次使用的使用时长、跳出率等指标，是否会有波动
- 长期表现捕捉方式：一段时间的打开次数
- 是否存在一些人群（异质性人群），对广告不敏感，有or没有闪屏都无所谓
- 短期影响，访问间隔是在40min左侧，还是在右侧，那么可以使用断点回归
- 长期影响，有可能受很多混淆变量影响，PSM，混淆控制的方式去处理；
但是PSM，matching的方式，很容易被挑战，有很多混淆因子，那咋解决？
异质性用户，一般会用uplife的方法，但是Uplife方法是实验方法，那在观测数据中如何进行实验？
2.3 短期影响的解决
2.4 长期影响构造准实验
很难控制混杂因子，因为你可能不知道还有什么因子被遗漏了，PSM问题：
- 局部性，样本只代表一部分，不是整体
- 遗漏混杂因子
如果，我们控制了一段时间内，活跃度（访问次数一致），
- user1属于高频低日活，每次来访问，停留时长比较长，各种切换；但不是每天都来
- user2属于低频高日活，每天都来，但是每次就一会儿就走了
如果找领域范围呢？ 越大，实验越多，但越不精准；所以这里考察了两个指标：
- 覆盖session数量：数量也比较多
- 特征平衡性：几个时间特征都差不多
现实含义是？
- 长时间跳出的比例（低使用时长）
2.5 异质性用户
算法目标以及流程：
- 数据处理之后，tranform转化Y（时长）/G（使用天数）
- 两个模型：Y 、 G分别拟合模型，modelY~(X,Y*)
- 输出模型的重要特征top15
- 画出象限，得到定性的结论
- 根据定性，进行定量
评估准确性的方法，gini面积，catboost比线性好
- 1~2象限对比，会减少搜索时长的因素里面，发现第二象限搜索占比指标高，说明在干预重置下，影响搜索时长的是搜索占比，也就是页面重置 会对搜索的人产生影响
- 1~3象限对比，第1象限打开方式多种，第三象限主要是主打打开，也就是如果是主动打开的人，重置会有影响
前面的看细粒度维度的指标是一种定性的方式，现在针对是否主动打开，可以跑出这些Outcome指标，看一下是否有均值统计量的差异（这里可以根据数据，构造一些简单的均值检验）
1.6 总结
2 滴滴的国际化外卖团队DiDi Food：智能补贴
来源：DiDi Food中的智能补贴实战漫谈
2.1 补贴问题的定义
对于这个指标的优化，一个直观的解法就是随机AB实验，通过足够多的，设计逻辑严密的，随机性完美的AB实验，我们一定可以在这个指标的优化上取得令人满意的结果。但是这个方法在具体业务中的问题是它太过于奢侈了，无论是在预算还是在时间上。
因此，为了可以高效低廉地求解这个问题，我们可以将优化目标拆解为两个子问题：
- 预估干预的Action相比于没有干预时带来的【增量】
- 在存在多种干预【Action】和已预估了它们【增量】的情况下，如何为每个用户合理分配【Action】以期望达到全局最优
这块可参考：智能营销增益（Uplift Modeling）模型——模型介绍（一）
2.2 如果进行因果推断建模
模型选择：LightGBM
在实践中使用的方法是用一个新的LightGBM去拟合离线评估最优模型产出的【预测增量】，并用这个新模型的特征重要度来近似评估各个维度特征的重要性，以此来决策是否加入和剔除特征。选择LightGBM的原因是我们对于这个模型的精度并没有太高的要求，相反我们希望它能够比较快速地在训练流程中对新加入特征的给出反馈。LightGBM高效地训练速度和不需要过多特征工程的优点比较契合我们的需求。
这点在数据结果上也可以看出，对于同一个批次的样本，同一套参数同一套模型，评估样本中【干预后样本】的存在会导致离线评估的结果大相径庭，从而影响我们离线评估和判断模型优劣。
另外在同一个测试样本上，有该类【干预后样本】样本参与训练的模型的离线效果也出现了比较明显的下降。
2.3 在干预下的全局最优解问题
这个部分很少有人提及，有点像是归因 -> 预算分配这样的，将模型的效用更大化。
对增量预估完毕后，接下来就需要具体地为用户池中用户分配补贴券。在基于增量预估的基础上，我们尝试了两种分发策略：
贪心分配
很多时候，运营对于使用的券类别和每个券类别的预算分配都有比较大的限制和约束。在这样的约束下，我们的做法是按照券值面额从低到高，为每个券类别计算可支配数量，然后对用户池所有用户按照预估出的Uplift值和计算出的可发放数量倒排截断，并将分配完毕的用户从备选用户池中移除。这样一个用户如果在各种券类别下uplift都很高时，我们将会优先为他/她配置券值较低的补贴券。这样做法的好处是简洁明了实现简单，在人工干预较强的时候对于运营的可解释性也比较强。缺点当然就是在自由度更高情况下，显然不能达到全局最优。
整数规划
2.4 有意思的地方：如何定义业务指标
这里是我看到比较有意思的，业务 - 技术团队的博弈后的指标产物
在解决补贴问题时，时常会困惑如何能合理地解释策略干预的结果，尤其是在与前线运营同学交流的时候。ROI固然是正确且合理的指标，但是我们可以设想这样一个场景，客单价为100，空白组GMV为1000，补贴为0，策略组发放了一个抵扣面额为10的券，最终核销了2张，GMV为1200，补贴为20。那么通过ROI计算公式可得，策略组ROI为200/20=10。与此同时，运营同学发放了一个抵扣面额为20的券，最终核销了10张，GMV为1800，补贴为200，那么运营组的ROI就是800/200=4。从钱效角度出发，当然是策略组干预策略更优秀，但是对于运营同学而言，这次活动确实是他们的策略带来了更多的GMV和单量。
而且，运营同学会自然想到的一个原因是因为策略组使用的券种抵扣额度更低，所以ROI会更高，而一旦有了这样的思路，整个过程就不可避免的走向了设计更为复杂且需要运营侧策略侧高度配合的实验。这与我们想高效低廉的解决这个问题就完全背道而驰了。
这里也是一种干预的思路，在券 -> ROI里面，单量/GMV是混杂因子，然后要控制住，进行分层。
2.5 有意思的地方：如何定义模型指标 AUUC
AUUC是一个很重要且奇怪的指标。说重要，是因为它几乎是Uplift Model在离线阶段唯一一个直观的，可解释的评估模型优劣的指标。说奇怪，是因为它虽然本质上似乎借鉴了分类模型评价指标AUC的一些思想，但是习惯了AUC的算法工程师们在初次接触的时候一定会被它搞得有点迷糊。
作为在分类模型评估上的标杆，AUC的优秀不用过多赘述。其中最优秀的一点是它的评价结果稳定到可以超越模型和样本本身而成立，只要是分类问题：
AUC0.5是随机线，0.6的模型还需要迭代一下找找提升的空间，0.6-0.8是模型上线的标准，而0.9以上的模型就需要考虑一下模型是否过拟合和是否有未知强相关特征参与了模型训练。
一法抵万法，我们可以抛开特征，样本和模型构建的细节而直接套用这套准则。
2.6 他们接下来想优化啥
- 更好的模型指标，能否在增量预估模型中建立一套类似auc的标准
- 离线 -> 线上，把离线的决策模块部分推至线上并引入更多的实时特征和接入更多的发券场景（首页天降红包，进店未下单等等），并将其直接包装为一个简单可解释的运营工具
- 优化模型，在增量预估模块，我们会持续迭代优化模型。在尝试引入更多维度，信息更丰富的特征的同时，与深度学习模型融合，提高模型精度。
- 用户在其整个生命周期探索，当前框架下的算法策略几乎只是针对每一次活动希望求得全局的最优化。而在实际运营中，一个健康的补贴生态一定是去优化用户在其整个生命周期的收益的，所以对用户长期价值（LTV）的建模也是个值得规划和探索的方向
3 浏览器：PUSH配额优化实践
参考：基于Uplift-Model的 浏览器PUSH配额优化实践
PUSH系统 -> uplife的使用，这里的干预是PUSH下发的条数，outcome 是转化增量收益
不同活跃度人群（1/2/3/4/7日活跃）在PUSH数量下的UTR，大致看到9条以上UTR会有所下降
这里使用的meta-learning模型，因果增强模型，比较少见的将偏序关系、metric learning增强用户特征表示用到模型之中。
这篇的来看，考察的业务指标还是CTR/UTR 这类的。
4 腾讯
4.1 腾旭看点：信息流实验分析
来仔细看一下分析角度：
将性别 、 年龄、城市进行拆分。
4.2 腾讯微视：数据算法驱动的用户增长
来自2020先行者大会：数据算法驱动的用户增长
5 滴滴
5.1 因果建模在滴滴的应用实践
5.2 网约车供需策略技术基础能力团队
来自文章：滴滴是如何构造连续因果森林模型并应用在交易市场策略上的？
该篇主要是针对Uplift中，Tree-Based的因果森林模型，且主要就，干预从二分类 -> 多分类 -> 连续进行讨论： 连续因果树
5.2.1 二元因果森林
即我们希望从协变量中，找到一个最优分裂节点，最大化子节点间处理效应差异。
在节点内，我们认为所有样本同质，因此可以应用公式(1)进行处理效应的计算。如此重复分裂，直到满足一些预设的停止条件(节点最小样本值、处理变量不平衡度、最小信息增益等)，完成一棵树的构造。
- 易于实现，无需额外开发；所有二元处理效应模型均适用；
缺点
- 当处理变量值较多时，会产生大量模型，增加训练和部署成本；
- 数据利用不充分，单个模型只用到部分(2/(k+1))数据；
- 不同处理效应间无关联。这在部分场景中并不合理，例如我们认为价格和供需存在单调关系；
- 无法对未出现在数据集中的对照变量值进行推断。
5.2.2 连续因果森林
在定价策略中，所有的模型归根结底都在拟合价格曲线。在需求侧，我们可以合理假设价格曲线具有如下特征:
- 单调性：价格越高，需求越低 ；
- 局部线性：在局部价格区间内，价格与需求呈线性关系。
树模型的一个优点在于，在节点内部我们可以自定义统计量的计算方式。
利用价格需求曲线的特性，我们对节点内的样本(W1，Y1),(W2，Y2),…进行线性回归，然后以线性回归得到的斜率代表连续处理效应。
在模型的预估/推断阶段，为了跳脱出线性假设的约束， 在估计各个对照处理效应的时候，我们退回之前的定义，仅选取对应的对照/参照变量值样本计算对应的处理效应。
因此在我们的连续因果森林模型中，整体的CAPE仅被用作分裂，不会用于效应估计。
优点：
- 考虑了不同处理效应间的关系
- 充分利用数据，不同处理变量间可以互相学习
- 单一模型，减少训练/部署成本
缺点：
- 使用中需考察线性假设的合理性
5.3 数据驱动下经济学与因果推断
来自文章：双边平台的增长，与因果推断的应用
6 优酷：推荐系统与因果推断
6.1 面向用户增长的信息流分发机制
文章来源讲座【面向用户增长的信息流分发机制】
全生命周期的因果推断这个概念蛮赞，找到使用户从低阶状态到高阶状态转化的干预因子（热点、兴趣等），可以优化的目标和场景也很多（内容采买、设计页面组织等）
两个用途：
- 单用户不可重复实验(Uplift model，可RCT)：红包/券/激励 特定时期的头部内容/热点
- 单用户可重复实验（观测数据）：用户长期兴趣推断
6.2 因果推断在阿里文娱用户增长中的应用
来自文章：因果推断在阿里文娱用户增长中的应用
- 目标1：用户状态建模。深度建模用户状态和行为，从大数据集中找到使用户从低阶状态到高阶状态转化的干预因子。
- 目标2：个性化算法的升级。将用户行为建模后，在多个场景将这些干预动作落地为个性化推荐算法和营销算法，满足和刺激用户的视频内容消费需求。
6.2.1 用户画像与状态表示法
传统的用户画像表示技术要么服务于运营可解释性，要么服务于推荐或广告系统的模型预估，通常建模成向量 ( 离散高维或低维稠密 )。而我们在深入研究在线视频和付费会员业务后，发现状态转移图是更有力地建模该业务下用户画像的数据结构，原因如下：
- 用户从非会员到购买会员并逐步进入高阶会员的阶段，本质属于一种强规则定义的状态。
- 在线视频，尤其是长视频领域具备长时间、连续型消费 ( 追剧、追网红 )
等特点，对比传统的图文推荐系统、电商推荐系统和广告系统，用户的消费行为可以在连续的时间上进行切分，状态表示法是对向量表示法的有力补充。 - 新用户的承接和推荐策略是用户增长中"促留存"，建立心智的重要阶段。
首先是多目标的排序机制，对于在不同状态下的用户，个性化算法的机制目标会不同 ( 跃迁至目标态 )；其次启发我们从更前沿的算法高度来研究状态跃迁的干预手段问题，进而解决推荐系统中长期难解的"可解释性"、“幸存者偏差”、"兴趣探索"等问题。
针对干预手段的研究，在2019年用户增长 & 智能营销团队组建之后，对因果推断 ( Causal Inference ) 算法率先进行了研究和落地，目前在个性化推送、外投 DSP 应用了基于 matching 的无偏 user-cf 算法，智能红包发放场景应用了 uplift model，取得了显著的核心业务指标提升，并得到了业务方和兄弟团队的一致认可。
6.2.2 基于因果推断的无偏 user-cf 设计
因果推断的核心研究课题：
- 从众多观测到/未观测到的变量中找出致因 ( causes )
- 预估某个行为/因素的影响力/效益 ( causal effect )
- 基础人口属性、安装的长尾 app 信息等
- 主动搜索行为 ( 非被动推荐 )，尤其是长尾 query
② 去除低活用户的 leave causes，推荐相似高活用户的 stay causes。对于推荐系统来说，这些 causes 包括：
- item 本身：但缺少泛化容易推出老内容
- item 的泛化特征：标签、时效性、质量
由于使用了 matching 方法，这里的算法非常类似传统的 user-cf 类算法，但是和传统 user-cf 核心的区别在于： - matching 不使被动推荐数据，个性化推送、站内推荐、运营推荐的内容都不使用。
- 只匹配低活到高活，活跃度相同的用户之间不进行匹配。
该算法落地后，在两个 baseline 相对较高的算法场景中取得了较大的收益：其中个性化推送 ( push )，在沉默用户中获得了 50%+ ctr 和 50%+ click 的双增长，在外投 dsp 业务中，拉活量对比峰值接近翻倍。
7 阿里飞猪：因果推断在广告算法中的实践
7.1 三种解决CIA问题的方式
有3种方法可以解决这类问题：
① 随机实验
- 选取部分流量，线上广告随机投放，不采用任何策略
- 成本过高，难以落地
② 后采样
- 通过重采样方法，使两组样本分布一致
③ 特征工程
- 机器学习常用方法
- 假设X包含所有的confounders，则虽然两组样本的P(T,Y)不相同，但P(T,X,Y)相同
- 实际很难做到，且对样本也有较高要求
7.2 解决方式一：找到所有混杂因子
7.2 样本重采样 —— Matching
这里文章把matching叫做观测数据重采样
样本重采样常用的方法包括：
- ① Propensity Score Weighting/Matching（倾向评分加权/配比法）
- ② Original Space Matching（原始空间匹配法）等
7.3 uplift模型的评估——barplot + AUUC
上图是个理想的情况：左侧贡献比较大，右侧贡献比较小，甚至是负的。基于柱状图做累计分布计算，得到下图：
这个图和常规预估模型中的ROC曲线形似；同样，曲线下的面积（AUC）越大，模型预估效果越好。
7.4 NN-Base的uplift 模型
将所有特征都连到一个DNN里面，采用了ResNets的思想，如上图所示：左侧网络对用户搜索请求预期的转换效率进行建模，右侧网络对“广告是否投放”产生的影响进行建模，最后通过线性模型加以合并。对于广告效应的推断方面，这种模型相比于DNN会有一定的提升（uplift Qini指数提升至0.6）。
还有几个不列了。。
7.5 飞猪：因果推断在广告预算分配
8 哈啰顺风车从推荐 -> 智能营销
参考：算法在哈啰顺风车中的实践应用
8.1 用户运营周期
对于平台的用户来说，一般都会经历拉新，促活，防流失，召回挽留等阶段。对于每个阶段来说，我们希望有对应的营销算法和触达手段来激发用户在平台的活跃度与忠诚度，同时也能提升公司的钱效，用好每一笔钱。
这里面涉及3个问题，
- 第1个问题是：给什么样的人发券，即圈人阶段；
- 第2个问题是：圈的人给什么样的权益，比如是5块钱还是10块钱；
- 第3个问题是：通过什么样的文案来触达用户，这里面就涉及智能文案的问题。
8.2 给什么样的人发券——Uplift model
整个模型迭代的三个版本：
- v1版本，是从response model开始。去预测用户的出行概率，然后根据出行概率来制定不同的发券策略。
这里面会出现自然转化的用户也发放了优惠券，导致钱效不高。 - v2版本，我们通过v1版本发券积累的数据，来尝试了uplift增益模型，对发券和不发券对用户带来的增量进行建模，然后根据这个增量来实施发券策略。
这里面有个缺点是，发券的金额仍然没有做到用模型cover住，钱效仍然不是很高。 - v3版本，我们通过预测不同券的核销概率，与使用不同券的增益值，来通过运筹优化的问题解决券金额发放千人千面的问题。
v2版本开始关注人群细分：
- 第一类是营销敏感的人群，这类人是下单犹豫不决，需要券来刺激一把。
- 第二类是自然转化的用户，不管发没发券，这个人第二天都是有出行需要的。
- 第三类是无动于衷，发不发券都没反应，
- 第4类是发券可能会起反作用，比如券可能是站内push的方式来发送，用户可能觉得太烦了，直接app关闭推送功能。
这4类人中我们要抓住的就是第一类人，营销活动的重点人群。
nn-based我们还没有尝试，他是将propensity score估计即倾向性得分和uplift score估计合并到一个网络实现。
8.3 圈的人给什么样的权益
v3版本有提到，要借由运筹学给不同人配不同券 ：
比如xij 代表第i个用户是否发放第j种券，那约束条件是：每个用户至多发一种劵，以及所有用户的发券总和不能超过实际预算，优化目标可以是所有用户的增益值最大，也可以是gmv最大或者roi最大等
运筹优化的求解主要是整数规划，整数规划目前采用谷歌的ortools来求解。但是优化器当求解参数上千万时，性能就出问题了，要算十个小时左右，这是不能接受的。目前的解决方案是分而治之，通过分城市来求解优化器，因为每个城市间的用户相对来说是相互独立的，互不干扰。
8.4 打造哈啰自动化增⻓算法闭环：智能补贴
公众号：打造哈啰自动化增⻓算法闭环（上）
所以对因果效应的建模是我们的一个重点，我们用的是Uplift model。
第一版我们建了两种Uplift model，它适用的场景不同。第一种是基于Tree构建的，原始的Uplift Tree相当于是做一个增量转化率的预估。增量转化为什么选Tree，第一它是对Uplift进行直接建模的，而不是说建两个不同的模型，它的建模精度会比较好。另外Tree的可解释性是相对强的，我们知道Tree基本上是通过分裂准则来模拟目标最大化的一个过程。我们可以对比一下普通的分裂准则和Uplift Tree的分裂准则有什么区别，普通分裂准则就是信息增益最大化，Uplift Tree最原始的方式是通过分布散度最大，来让我们的干预组和被干预组，所谓干预组也就是发券组，这两个组的分布差异最大，从而达到Uplift最大的效果。下面是一个示意图，通过Uplift Tree的分裂，我们最终可以把人群真正区分成4类不同类型的人群，最后只对营销敏感的这部分人群进行真正的营销，而其他三类并不需要营销。
当然这个原始的Uplift Tree，它是针对转化率做增量的，而我们现实的业务中大部分场景目标是收益，而不是转化率。所以我们进行一个改进，把分裂准则改进成一种新的方式来做收益的最大化。
假设分裂前数据集是θ，我们就可以计算分裂前的收益是多少，也就是发券组和不发券组人均效益进行一个差，然后乘以一个平方，它其实是对欧氏距离分布散度最大化的一个扩展的改进。然后是根据某个特征对当前节点进行分裂，得到一个分裂后的因果效应，分裂前和分裂后的因果效应的差，其实就代替了我们之前的信息增益的最大化。通过分裂前和分裂后因果效应差值的最大化，来作为我们的一个分裂准则，就这样不断选择新的特征，这是第一层的分裂。第二层就选另一个特征接着分裂，不断选择这种迭代递归的过程，最终整个构建出来。这就是一个TreeLift的过程。
TreeLift的难点是怎么构造样本，因为现实中不存在平行时空，我们不可能对一个人同时发券又不发券。那怎么样让模型学习发券相比不发券的增量收益呢？我们想到是用群体来代替个体，如果是两个同质的群体，其实可以学习发券群体和不发券群体之间的增量收益。这就通过构造随机实验的方式，也是现在Uplift领域的一个主流方法。最终的效果，我们在自有的数据集和业界的公开数据集及传统的经典方法做了一个对比，发现它的Uplift曲线是最大的，相比我们自己的响应模型，在场景下的收益大概有4.7%的提升。
另一个是我们的DeepLift的模型，DeepLift模型是我们在DragonNet的基础上进行改进的。DragonNet有几个优点，它不需要用随机实验，随机实验的构造成本是很高的，你的模型后面基本上没有办法做自动的更新。我们用DragonNet通过向量化模拟了一个随机实验，同样它又构造了一个倾向分的子网络，能够做一个样本筛选，可以把因果无关的一些特征变量筛掉，而大量的特征其实和因果并没有关系。我们在DragonNet基础上做了一些改进，第一是增加了模型的复杂度，第二是改变它的loss，更加的贴近业务。因为原始的DragonNet其实和原始的Uplift Tree一样，并没有以收益为目标，而是以转化率为目标。因此我们各种loss增加了新的G的网络，以及改变了它基础的loss的方式。我们DeepLift模型的网络结构可以看右边，DeepLift我们更多使用在一些需要自动更新的场景。
9 阿里文娱：智能营销增益模型 ( Uplift Model ) 技术实践
9.1 Uplift Model建模评估
uplift评估最大的难点在于我们并没有单个用户uplift的ground truth，因此传统的评估指标像AUC是无法直接使用的，解决的一个思路是通过构造镜像人群的方式来间接拿到uplift的ground truth，比如说经典的AUUC的指标就是这样去计算的，假设现在有两个满足CIA条件假设的样本组，我们可以对两群人分别预估他们的uplift score，之后将人群按照uplift score进行降序排列，通过score分数这一桥梁，可以把两组人群进行镜像人群的对齐，之后分别截取分数最高的比如10%的用户出来，计算这一部分人转化率的差异，这个差异就可以近似地认为是分数最高的这群人真实的uplift，类似地，我们可以计算前20%，40%一直到100%的点上面的值，连线就能得到uplift curve。理论上如果模型对uplift的识别比较准确，我们预测uplift比较高的区间段，真实的uplift也较高，uplift curve就会呈现上凸的形式，我们也可以计算曲线下的面积度量不同模型的表现差异。
9.2 Uplift Model在淘票票智能票补中的应用
该项目的目标是希望对进入到首页的用户个性化地发送红包，实现在预算和ROI的双重约束下提升平台总体购票转化率。我们的权益就是首页的红包，红包的使用规则、红包类型、预算和交互样式由产品运营设计，算法的作用是实现人和权益的精准匹配，我们需要确定应该给哪些用户发放以及发放哪种类型的权益。
因此问题就精细化到如何对用户进行个性化的面额发放上，这可以通过经典的背包问题来抽象，如图所示，第一个公式是我们的目标，最大化的是红包撬动效率，下面的约束条件一个是ROI约束，一个是预算约束。
9.3 如何uplift建模
建模中control组我们取的是随机化实验中的基准组，这部分用户是不进行红包发放的，而treatment组选用的是随机化实验中专为uplift model建模预留的一小部分随机探测的流量，之所以没有用有算法干预下的样本是因为用户的发放的面额与用户的特征是强相关的，并不满足CIA条件，因此这一部分样本虽然量较大，但是不能用于训练。
One Model的差分响应模型，特征层面，除了user维度的基础属性，还有历史的观影行为，以及历史红包的反馈，同时也会引入线上实时的环境特征，最重要的是跟营销相关的特征T，目前T代表的是红包的金额。
分析有两个可能的原因：
- 一是与我们整体的样本规模比较有限有关，因为这种无偏样本目前大概只有几百万的量级；
- 二是由于用户行为的稀疏性，在这种场景下我们比较难收集到用户在不同面额下的历史数据，因此也会加剧这种不平滑性。
10 快手因果推断与实验设计
参考文章： 快手因果推断与实验设计
在因果推断笔记—— 相关理论：Rubin Potential、Pearl、倾向性得分、与机器学习异同（二） 提到了非常多快手的案例。
10.1 基于观测数据或实验数据的因果推断技术案例
双重差分适用于存在不可观测的个体固定效应场景，通过差分消除固定效应，其关键假设是，政策干扰前存在平行趋势，且实验干扰效应不随时间变化。双重差分可以用来消除那些对后期可能存在干扰因素，得到实验效果估计。
当treatment施加到一个群体或者地区上时，很难找到单一的对照组，这种时候采用合成控制方法构造虚拟对照组进行比较，原理是构造一个虚拟的对照组，通过treatment前的数据上学习的权重，拟合实验组在实验开始前的数据，模拟实验组用户在没有接受实验情况下的结果，构造合成控制组，实验开始后，评估实验组和合成控制组之间的差异。
10.2 因果推断与机器学习的异同
因果分析的语言，核心在于因果关系的识别，即合理的估计处理前和处理后现有条件期望的差异，也可以是一种处理缺失数据的问题，在因果推断上我们非常关心的是如何准确的估计结果以及结果的方差。而在机器学习中，我们使用准确度来衡量机器学习模型的好坏，其目标是在训练集上估计一个条件期望，使得测试集上MSE最小。
机器学习可以通过cross-validation（模型参数）的方法去数据驱动的选择一个最佳模型形式，与传统计量经济学方法相比不需要复杂的假设，例如function form的假设，从这种意义上机器学习能够更准确的预测。
但是在因果推断问题上，机器学习的局限性在于，无论用什么机器学习方法，因果识别的条件都不能被放松；同时在机器学习模型通常使用的正则化和过拟合处理，会带来有偏估计，因此我们需要消除这种估计的偏差；
在统计推断上，机器学习的局限性在于，有些模型不能直接计算方差，并且有时即使可以计算，方差的收敛速度也未必能够达到预期，所以针对这些问题，下面介绍了几种方法。
10.3 双重机器学习 Double Machine Learning (DML)
因果推断会遇到混淆变量的问题，比如想要去分析直播推荐多样性对用户活跃度的影响，但是这些都和用户历史相关。传统计量经济学方法可以解决这个问题，但是依赖很多强假设，强假设下，得到的估计不一定合理，双重机器学习为这个问题提供了解决的思路。
10.4 因果随机森林模型
PSM评分法的树模型 升级版
可以回顾【3.4章节】
随机森林就相当于训练一棵预测treatment的树，然后在树的叶子结点做因果推断，如果大家仔细看了前面的倾向性得分的话，会发现其实这个思路其实就相当于propensity matching的树版，可能跟subclassification更相似。
整体思路：树进行分组，然后对于对于每个叶子内部，将E(处理组) - E(对照组)
我们通常探究策略对于不同用户异质性的影响，即哪些用户更容易被影响以及影响有多大，传统做法是多维分析，但是效率低，容易犯错。这时可以结合机器学习的方法，这里选择了决策树方法，因为决策树的分桶特性能够帮助解决异质性问题，相对于传统方法因果树做了两点改动:
10.5 快手：双边实验设计
在双边实验中，同时进行了主播侧和观众侧的分流，主播侧一部分是上了挂件，观众侧一部分能看到一部分看不到，双边实验的优点是可以同时检测两端的效果，同时可以帮助检测到组间的转移和溢出。在了解到组间溢出和干扰下，通过双边实验我们可以更加准确的测算处理效应，在挂件场景下，我们认为N3是代表完全没有处理过的效果，Y代表处理后的结果，N3和Y进行差分，计算产品功能推全后的影响，而且，双边实验能够更好的帮助我们归因。
然而双边实验只能描述简单的组间溢出，在个体和个体之间存在干扰的复杂情况下，双边实验是无法帮助我们判断实验效果，例如直播PK暴击时刻这种情况下，我们通过时间片轮转实验解决，即在一定实验对象上进行实验组策略和对照组策略的反复切换。
10.6 快手：时间片轮转实验
时间片轮转的核心在于：
- 时间片的选择
- 实验总周期选择
- 随机切换时间点是什么样子的
当时间粒度约粗糙，时间上的干扰造成的偏差会越小，但是方差会越大，影响实验的检验效果，针对这个问题，采取的方案是最优设计。
最优设计的核心假设是：
- Outcome有一个绝对上界
- 用户无法知晓下一个时间是否是实验组
- 如果时间片之间存在干扰，干扰的影响是固定且有限的
当我们不知道一个时间片实验时间节点如何设计时，通常采取的步骤是，预估一个时间，通过实验确定carry over的阶数下限是多少，根据阶数下限，找到最优切换时间点，再进行一次实验，通过实验组和对照组的选择来进行因果效应的估计。其缺点在于，实验周期长，没有办法观测到HTE (heterogeneous treatment estimation)。
10.7 快手：城市实验 + 合成控制
当treatment施加到一个群体或者地区上时，很难找到单一的对照组，这种时候采用合成控制方法构造虚拟对照组进行比较，原理是构造一个虚拟的对照组，通过treatment前的数据上学习的权重，拟合实验组在实验开始前的数据，模拟实验组用户在没有接受实验情况下的结果，构造合成控制组，实验开始后，评估实验组和合成控制组之间的差异。
11 腾讯广告：上线Uplift广告增效衡量
- 从衡量用户与转化的关系入手：只看真正了广告、进而发生转化行为的人有哪些。这种方式虽然可以找到确实和广告产生了互动的人，但会严重低估广告曝光带来影响。因为通常好的广告创意即使当下没被仍然也会产生潜在影响，根据腾讯广告既有研究数据：会购买你产品的消费者中，90%以上的人其实不会你的广告， 这意味着虽然消费者当下没有直接广告，却同样受到了广告的影响，之后在其他渠道完成了后续的转化行为。
- 直接从衡量广告曝光对转化的关系入手：这种衡量方式通常在投放后找到曝光和非曝光的两群人，对比二者的转化率和转化效果；或直接对比广告投放前和投放后，转化率、售卖率、搜索指数等指标是否有所提升。
以上两种对比方式在科学性上存在着不足：
- 首先，曝光人群与非曝光人群之间的真实差异不止“是否看了本次曝光广告”这一个变量：因为广告投放本身是带有选择性的，通过竞价胜出的广告，本身就会曝光给具有一定特质的人，这群人可能更容易发生、发生转化，或本身就是已经成为了品牌固定消费者的人，因此直接对比曝光人群和非曝光人群的转化率并不严谨。
- 其次，投放前和投放后所面临的市场情况存在不可测差异：市场无时无刻都在发生变化，品牌的销售曲线自然就会出现波动。在不投放广告时，销量增高或销量减少都可能频繁出现，用时序来看投放前后的对比，是无法屏蔽掉市场的天然变化
- 同时，由于二者都是采用后置分析，上述两种衡量方式仅能说明广告曝光与转化之间的相关关系，而非因果关系。
11.1 幽灵广告框架
- 投放前：Uplift广告增效衡量将投放人群随机地分为Treatment Group（处理组）和Control Group（控制组）。以确保投放前两个组别在转化行为表现上没有显著差异。
- 投放中：Treatment Group和Control Group都会参与广告竞争，以确保这两个组别都经过竞争环境的选择，此时，Treatment Group和Control Group仍然没有任何显著差异。当Treatment Group竞争胜出， 广告将会成功曝光出去；当Control Group赢得曝光机会时，系统会通过内部替换曝光的技术方式，确保他们不会看到广告；基于此原理，确保了Treatment Group和Control Group的唯一差别为“是否看过本次在腾讯投放的广告”。
- 投放后：对比Treatment Group和Control Group的转化率，计算提升值。
通过以上严谨的控制操作，Uplift广告增效衡量实现了曝光对转化真实增效的科学衡量，做到了曝光与转化之间因果关系的探寻。
11.2 使用场景
11.3 腾讯广告双边市场下的实验设计
广告流量的四格表：
实际发生外溢效果，以下是几种解决方式：
全新的排序实验：
12 因果分析工具在快手的应用
合同控制法与矩阵补全：
DML：
13 周玉驰：因果分析在贝壳的探索实践
来自：周玉驰：因果分析在贝壳的探索实践
这篇比较好的是实际业务中使用，比较接地气
13.1 论证客源管理平台 是否有效
核心是在说，智能客源维护方向，客源管理平台论证可行性
论证，干预是否显著：
是否有客源管理平台工具 影响显著？
使用DID进行论证
设置了两类实验组：
- 人群分组
- 随机分组
论证三：反事实
人群分组的弊端，会有混杂因子
先是自我发掘了一个混杂因子：经纪人优质情况，
优质的经纪人可能会偏向使用工具
随机实验，可以很好的消除混杂因子
13.2 客群分类
14 快手：Causal Machine Learning in User Growth
14.1 PSM倾向性得分判断用户对用户留存的因果关系
二分类的情况下：
以上是讲座老师分享的PS计算过程，其中平衡检验是KS检验。
多分类的情况
这里提到的是，采用类似带权重的聚类方式；
第二种特征匹配
14.2 机器学习中因果推断 vs 因果推断中机器学习
这个标题，就很有意思
包括：
- 机器学习中因果推断 ：去偏+非均衡处理
- 因果推断中机器学习：因果分析
跟Uplift中的图类似
14.3 游戏币回收
这个章节突兀，有点奇怪，笔者还没品出深意。。
14.4 推荐中的因果归因
15 因果推断在快手推荐场景
赵炜琪：因果推断在快手推荐场景的应用探索
15.1 因果表征causal embedding 纠偏
WWW21发表的DICE。DICE这一方法是基于causal embedding的解决方案。论文认为用户的交互行为可以被拆解为两部分：
- 由于视频的流行度较高导致用户基于从众心理产生交互行为；
- 用户的纯兴趣导致的交互行为。
我们可以进一步抽象为基于interest和基于conformity的两部分表征。那么问题就转化为如何构建不同的数据集来分别学习interest和conformity的embedding。
在构造数据集时可以使用<user,pos_item,neg_item>三元组。当用户了一个postive item且它的流行度比negative item更小，就认为交互行为是基于兴趣的；如果的item的流行度大于negative item，那么这次交互是由从众心理和用户兴趣叠加而成的。
15.2 因果效应纠偏
下面介绍的工作使用了第三类解决方案，即采用后门机制结合贝叶斯概率模型来解决纠偏问题。这篇文章发表在SIGIR21上，解决的是传统流行度偏差问题。在推荐系统中，流行度会影响物品是否曝光，也会影响用户是否交互。作者认为流行度高代表的内容质量通常比较高，所以流行度到的边需要被保留。但是物品是否被曝光应该基于用户的真实兴趣，而与该物品的流行度无关，所以流行度到物品的边不应该存在，这条边是一个bias。文章的解决方案是使用了后门机制，使得最终的交互条件概率与流行度对内容是否曝光的条件概率无关。我们基于这个工作做了一些改进并落地，之后会详细介绍算法的原理。
15.3 因果推断在快手的应用
首先是流行度debias的工作。流行度偏差在推荐系统中十分常见，我相信大家在各个业务中也面临了同样的问题。头部效应严重就会导致热门内容曝光量较大，进而导致训练日志被热门内容主导，这对于长尾内容非常不友好。
工业界有三种解决方案。
- 首先是使用IPW，但这种方法依赖于流行度具体值，流行度值大小的变化使得权重值波动较大，所以模型的方差很大，训练很难收敛。
- 第二个方法是使用causal embedding方案，这类方案需要划分出两种数据集。如最开始的causal embedding论文使用无偏数据集，但是无偏数据很贵，也有其他工作尝试基于观测数据进行处理后划分不同数据集，但人为划分数据也会引入其他一些偏差。
- 第三种方式是直接通过加特征或者加debias塔的方案建模流行度对模型的影响，类似于之前youtube和google提出的建模方法，但是这种方式没有完美的理论支撑，而且bias特征很难与其他输入特征进行平衡（bias特征可能被其他特征淹没）。
这里干货很多，特别是对几种方式尝试下来的一些心得，比如
- IPW，方差很大，训练很难收敛
- causal embedding方案，无偏数据很贵，但人为划分数据也会引入其他一些偏差
进一步，我们可以将P(C|U,I,Z)的解藕结果带入引入do算子的条件概率公式继续进行推导，最终的表达式如上图所示。我们可以发现最终的结果只与流行度的期望有关，而流行度这个单变量的期望是一个常数，对排序不产生影响。所以通过这个方法，我们已经将流行度对模型的影响消除了。
在infer阶段，我们也使用了do算子，将流行度作为变量引入条件概率。具体地，我们针对流行度考虑了其变化趋势对推荐的影响。这么做是希望模型与item的生命周期进行结合，因为item的流行度变化是呈现从逐渐增加到逐渐降低的过程。最终的模型infer得分是匹配得分与流行度的乘积。
我们对比了干预后流行度对item的影响变化，上图左侧是没有进行纠偏的推导，右侧是进行纠偏的推导。它们的主要差别在于因果图中Z对I的条件概率，进行纠偏操作后U,I与Z式独立的，进而就去除了流行度对item的曝光影响。
从实验结果来看，曝光提升或者下降的case是符合预期的。具体地，曝光下降最快的case大多是一些猎奇的或者低质量的内容。从实验结果图来看，上图横轴从左至右分别代表的是曝光区间，越往右的曝光区间的曝光量越大。从图中可以看出，对比各曝光区间的曝光item数量，中长尾的曝光item数是增多的；对比各曝光区间的曝光量，中长尾item的曝光量也是提升的，而头部视频或者流行度较高视频的曝光量提升主要是因为infer的时候我们特意引入流行度导致。另外我们还针对效率进行可视化，发现中尾部的视频对应的pxtr的提升更大，这也符合我们的预期。
15.4 基于双重神经网络的异质性因果效应模型的构建和应用
问题二：如何做统计检验：
快手里面有写一个py的开源库，给别人使用
应用二：push消息
总结：
16 因果推断实战：淘宝3D化价值分析小结
因果推断实战：淘宝3D化价值分析小结
整个方法论：
验证3D化价值成为了当务之急。通过对价值指标体系，受益方进行拆分，结合业务理解确立了如下的分析框架，并选择了用因果推断来验证不同3D化产品的价值，因为它可以真正回答‘XX产品导致了加购率/成交率提升Y%’这类问题：
倾向性得分匹配法：一句话概括，就是匹配分数相同的‘同质’用户。由于在观察研究中，混杂变量较多，无法一一匹配，因此将多个混淆变量用一个综合分数作为表征。通过分数对用户进行匹配，最终得到两组‘同质’人群。
双重差分法：在满足基线期平行趋势假设的基础上，估计策略影响的平均处理效应。以下图为例，两家开在不同地区的店铺A/B，假设店铺A，B 满足平行趋势假设，且A家参与了大促（打广告），B家没有。考虑到时间变量对于两个店铺带来的共同影响，需要求两次差值才能正确估计广告对A带来的效益提升，即所谓双重差分。DID = (A2-A1)-(B2-B1)，也可以用模型来拟合DID。
17 因果推断在BIGO：工具变量法
因果推断在BIGO：工具变量法
在真实业务场景中，有时很难直接进行A/B Test或者A/B Test成本过高，这时随机化实验分析方法不再适用，需要诉诸其他分析方法，如观察性研究（observational studies）。在BIGO的业务中，类似场景主要是基于两方面的原因:
- BIGO旗下如短视频平台Likee和直播平台Bigo Live是典型的双边市场(two-sided markets)。以Bigo Live直播为例，供给侧 (supply side) 是正在直播的主播们，需求侧 (demand side) 是观看直播的观众。作为海外直播市场的领头者，Bigo Live一直致力于为用户提供更加清晰与流畅的直播体验。在技术方面，我们会做大量的音视频编解码技术创新与优化工作。这些工作主要围绕主播侧进行，但同时也需要评估对用户体验与平台营收的影响。在双边市场情景下，一个主播会被多个用户同时观看，同时用户在同一天也会观看多个主播的直播。在这样的情况下，主播侧的实验违反了个体干预稳定性假设（SUTVA: stable unit treatment value assumption）, 这使得很多主播侧实验的评估基本上是失效的。
- 长尾效应: Bigo Live的营利模式主要来自于用户的直接付费，该营利模式下，营收类关键指标的长尾效应犹为显著。如给定一天内排名第一的用户付费金额可能大于其余前五付费之和，这使得在营收类的关键指标上，基于随机化的分配机制 (assignment mechanism) 也是有偏和失效的。
- 用户在Running里花费较长的时间，会挤压其他游戏的时长投入和营收吗？
- 针对整个休闲游戏体系，我们引入Running-Bigo对整体的用户营收效果与平台生态又该如何评估呢?
很显然，这不单是在BIGO，而是任何互联网产品都会遇到的问题，当我们引入一个新功能产品，如增加一个 tab，或引入一个功能模块，一方面新的功能模型吸引用户的时长和注意力，另一方面该新增的功能模块也会挤压其他模块的用户时长和核心营收数据, 特别是休闲游戏，我们知道休闲游戏的替代效应一般都比较强。那我们该如何评估该模块引入对整体休闲游戏生态的影响呢？
18 腾讯钱橙：AB实验只是开始？如何归因和解读才是王道！
腾讯钱橙：AB实验只是开始？如何归因和解读才是王道！
Uplift Modelling的建模方案，找出来策略能最高效转化的用户，这样可以把钱花在刀刃上，也是可以提高我们后续的运营活动的效率。
所以结合这个案例，我们这边给到的实验分析的建议如下：
- 第一点，了解实验单元和分析单元，避免结论的谬误；
- 第二点，实验分析紧跟实验假设和实验设计，分析结论应该围绕实验设计开展；
- 第三点，在线对照实验是解决因果推断最高效直接的手段，需要充分利用好实验的效果数据，挖掘更多的价值。
一般来讲，推荐类的实验，常常都会存在一些人群的异质性效果，所以我们建议对于每个推荐类实验分析，在实验完成之后都要产出一个实验效果地图。如上图所示，这样的效果地图可以反映出来当前这样的策略对于维度组合下的用户影响。同时，每一个实验都可以产出这样一个地图，而每个实验的地图其实是可以叠加的，通过对一系列实验效果的叠加可以很直观的了解到近期发布的推荐实验到底是对那些用户群体效果比较好，哪些用户一直没有触达到。
19 腾讯游戏：因果推断在游戏中的应⽤：分布式推断模型
来自datafun数据科学峰会：【2-1 因果推断在游戏中的应用】
19.1 分布式低复杂度倾向性分数匹配
19.2 分布式鲁棒双重稳健估计
19.3 分布式⾯板双重差分
20 快手：频率错觉对用户影响的因果推断
21 内容消费行业借力数据科学驱动的供需策略破局业务增长
这里使用因果推断主要在激励，补贴的场景：
22 京东搜索：小流量、高波动场景下的实验方法论
节选datafun数据科学峰会：《9-3 电商搜索场景下的数据科学实践》
京东内部的因果推断基础框架整理：
23 巨量引擎：异质性因果模型方法与策略化落地
内容来源2022 DataFunSummit 数据科学在线峰会
23.1 HTE模型讲解
假设前提：
三种切断方法：
- 随机试验
- 切断混杂因子对T和Y的影响
- 工具变量
因果森林 vs 随机森林：
模型评估：
23.2 商业应用场景
24 大淘宝用户增长：电商场景下有效干预策略实践
25 因果推断在工业界的应用
25.1 飞猪：因果推断归因
25.2 哈啰单车：因果推断智能营销的应用
详细也可以参考：文章：董彦燊：因果推断在哈啰出行的实践探索
这里是以收益为Y，与其他用销量，有些不同：
红包补贴：
这部分应用主要是在酒店营销场景中的红包补贴模块，属于整个算法链路中的一环。前面已经提到过，我们的目标是使补贴效用最大化。主要看的指标是人均效用，即总效用除以人群的人数。
随机试验
但是根据需求考虑到，我们需要验证因果推断方法的业务效果，最终还是选择了小流量随机实验来获取符合要求的数据。如右图所示，我们通过分流平台做了两次分流，第一次分流是切除随机实验用的小流量，第二次分流则是随机将用户分到实验组（发券组）和对照组（不发券组）。
实时决策
接下来是红包补贴模块的核心部分，分为离线和线上两部分。
线上部分，依然是通过流量分配时请求进入算法组、运营组或者是随机补贴组。其中：
运营组是人工策略；
随机补贴组是前面提到的小流量随机实验，从小流量随机实验得到的训练数据用来建模，可以得到Treelift模型，进行一键评估，最后部署到线上；
算法组的流量由模型来决策发券。
模型的离线评估部分测试了不同的模型，最后得到的结果是我们经过改进后的Treelift模型的AUUC是最优的。可以看一下右上角不同模型之间的对比，我们对比了T-model、S-model，还有Treelift模型，以及我们在正则方面的一些尝试的模型对比。从线上效果来看，Treelift模型相比人工策略有4.7%的提升，相对于我们之前用过的Response模型也有2.3%的提升。从结果来看，优势是非常明显的，Uplift模型在智能补贴场景的应用前景还是比较广阔的。
25.3 因果森林与相关研究 : CausalAI
因果树模型：
有一个python的代码：
26 实用型因果推断方法在小红书的实践
https://mp.weixin..com/s/aCylZ_QJeR1DvAa01Mi8Gg在小红书偏内容型社区的场景中，作品质量是用户留存率的关键。当干预定义为作品 id 这一类型无限 Treatment 时，无法进行实验，也无法使用 PSM的 思想解决。首先，我们使用因果推断思想，基于用户 t-1 时刻的行为数据预测用户 t+1 时刻的行为，并将用户的行为变化归结到 t 时刻的干预变化，可使用 Delta DAU 或 IPW 方法获得权重值。即如果用户天然留存率高，则其留存行为与干预相关的可能性较低；相反，若用户天然留存率低，则其留存行为应与干预高度相关。