当因果推理遇上时间序列，会碰撞出怎样的火花？
点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入！
近年来因果推理和时间序列已经成为了数据科学领域备受瞩目的研究方向。因果推理可以帮助我们识别变量之间的因果关系，时间序列分析则可以便于我们理解变量随时间变化的规律。这两个方向都可以为我们提供更多解决实际问题的思路和方法。2023年4月21日，AI TIME第十五期PhD Debate活动“因果推理（Causal Inference）与时间序列（Time Series）”，特别邀请了圣地亚哥加利福尼亚大学助理教授黄碧薇，南加州大学博士生曹德福，卡内基梅隆大学博士生宋祥辰，俄亥俄州立大学博士生刘若琦。四位嘉宾围绕因果推理与时间序列的理论研究、应用场景面临的挑战等话题展开热烈讨论，给观众带来了一场精彩的科学思辨。
01
因果性与相关性在现实世界中的区别
曹德福：因果性和相关性之间有本质的区别，但也存在一些联系。从理论的角度来讲最经典的区别是Pearl先生提出的三重阶梯理论：第一层是关联，它涉及由数据定义的统计相关性；第二层是干预，不仅涉及能看到什么，还涉及一个干预会导致什么结果；第三层是反事实，是对过去发生事情的反思和溯源。
刘若琦：因果关注的是两个变量之间是否存在直接的影响关系，而相关性是两个变量之间的关联关系，可能是因为偶然产生的。在Health Care中的一个经典问题是“吸烟会导致肺癌”，我们通常需要考虑到混杂变量，比如生活、饮食习惯或其他因素，这都影响着我们是否能真正评估因果性。
黄碧薇：即使对于被动预测任务，在数据分布发生变化和数据量很少的时候，这时因果理解对于预测这个任务也是非常重要的。
宋祥辰：我们在实际应用中绝大多数情况下都不会特别在意中其中一个变量对其他变量的因果影响，但是当复杂的系统出现问题时通常我们会希望寻找问题的起源(root cause)。这时候分析因果性并通过对相应指标的观测找出真正的原因来更快地解决问题才是重要的。
● Discovery v.s. Inference
曹德福：在因果发现这个方向中，我们一定要弄清楚原始数据的架构，这对未来一些事件的发生或者相关性都能有一定的参考作用，只有理解因果性才能泛化到现实世界中没出现的情景中去。如果希望模型能够很快地适应未来的时代或者持续产生稳定的预测和解释性的结果，那么因果关系是一定要引入到现在的算法中的。
宋祥辰：如果我们引入因果关系，即使在不能完全了解数据具体的生成机制的情况下，构造的系统可以对未来的变化及时作出提示和反应，这也是有巨大的实际意义的。
黄碧薇：因果发现和因果推理在任务上是有区别的。因果发现是从源观测数据中找到变量之间的因果结构，而因果推理是从给出的因果结构中去评估效果。因果发现的目标之一是发展一个统一的方法去处理通用的案例，另外一个目标是如何根据计算结果快速地通过实验去验证找到的因果关系。
刘若琦：因果推理的重要问题是评估效果(Causal effect estimation)，我们倾向于在观测数据或是真实世界的数据中做这件事，这种情境下有更多的挑战。例如我们通常会在电子健康记录中分析比较不同药物的有效性(efficacy)或安全性(safety)。
● ML for causal；causal for ML.
曹德福：Causal for ML可以被概括为用发现的方法去做特征选择从而帮助机器学习更高效地利用数据，ML for causal是从数据驱动的角度去帮助完成因果相关的实验。
宋祥辰：Causal for ML是将一些因果发现的结果用来辅助机器学习系统的构建从而提升各方面的性能，传统的因果发现是基于独立性检验去推测变量之间的关系构造因果图，这种方法在扩展性(scalability)方面有很大的挑战，如果通过ML for causal的方法可以构建一个模型去更好地模拟这个推理过程，这个意义是很大的。并且通常在机器学习的过程中，收集完的数据是无法进行干预的，这对推断因果是有一定的挑战的，这时候增加标签/领域的信息，时序信息等都能帮助我们更好地推理因果结构。
刘若琦：传统的自监督学习方式并不能被直接用在因果推理的问题中，它面对的挑战主要有只能观测到factual的outcome、需要考虑到混杂变量的影响，以及必要的假设条件。
02
因果推理的主要理论支持
a.Deconfounding
b.proxy causal model
c.causal discovery
刘若琦：真实观测数据中存在confounding variables，会阻碍我们观测到真实的因果关系。常见的deconfounding方式比如matching，weighting等。同时还有一些基于回归regression的方式利用线性或非线性回归模型分析confounding的影响。近年来随着深度学习和机器学习的不断发展，越来越多的研究者使用该方法来研究deconfounding，主流的方向是通过深度神经网络模型学习变量之间的关系，控制混淆变量的影响，推测counterfactuals。
曹德福：Proxy causal model (PCM) 是基于causal model的，但是它跟传统的因果推断方法又有所不同。它基于代理变量而不是完整的因果图，代理变量是指用于表示两个变量之间可能存在因果关系的可观察变量。通过这种方式，PCM可以推断出在缺乏完整因果图的情况下变量之间的因果关系。
黄碧薇：对于因果发现的理论支持，目前领域主要侧重的是因果结构的可识别性，但还欠缺因果结构在有限样本上的收敛性。对于因果发现的可识别性，我们希望能够做到在假设尽可能弱的情况下去实现一个通用的因果发现算法。比如当存在一些未被观测到的混杂因子时怎么实现因果发现。从已知的世界推测未知的世界是很有趣的，如果所有的东西都能够被观测到，那世界就会变得很简单。
宋祥辰：在实验中我们是需要假设收集到的数据中是包含变化信息的，因为能够被发现的因果结构都是基于变化的，在实际应用中我们关注的也是某些情况的变化对最终结果的影响，这也是因果相关的研究与其他机器学习工作的区别所在。
刘若琦：proxy causal model是通过代理变量，补充和代替潜在的无法观测到的confounder，它能通过这些信息帮助我们发现更全面的confounder。关于instrumental variable的使用会面临一些挑战，因为需要先验知识，限制条件较多。如何更好地结合先验知识定义一个比较好的变量去做因果发现是值得研究的。
03
如何合理地保证可识别性？
宋祥辰：在时间序列数据上做因果发现，我们一般是会采用独立成分分析的方法，在一些假设中会观测到时间序列之外的额外分布信息，这种非平稳性其实能帮助我们更好地发现数据之间的构成，但是很多时候这样的假设在现实情况下是无法满足的，所以假设条件也随着工作的推进在由强到弱地转变。
曹德福：假设条件太强或太弱一则会对模型的性能产生影响，二来在现实世界中这是无法被验证的，所以比较安全的方法是跟随前人在实验中做出的假设条件。或者根据存在的问题在前人工作的基础上改进，设计更贴合实际的假设条件，这也是一个循序渐进的过程。
黄碧薇：我们的工作是一步步弱化假设直到可以应用到广泛的实际问题之中。在选择因果发现的方法之前，先要有一个大体的判断，首先需要对系统深入了解，其次需要理解数据性质。在这些前提条件的基础上，我们才能选择更好的因果发现的方法。
刘若琦：我以一个具体的假设说明在弱化假设的情况下应对问题的解决方案。Strong ignorability假设是数据中所有的confounder都可以被观测和控制，但在实际的时间序列数据中这个假设可能不成立，这种情况下我们在评估的时候可以用一些较弱的假设条件、做额外的敏感性分析量化影响的程度，或者利用其他的观测变量作为proxy causal variable。
04
因果推理在时间序列数据中的必要性
与面临的挑战
刘若琦：在Health Care领域时间序列数据有一些具体的应用。常见的数据有一些共同点，比如特征维度高、时序性强、类型丰富，这种复杂的数据类型会对因果影响的评估造成干扰。当存在缺失值的情况下，如何保证我们的评估是稳定和鲁棒也是值得探索的。在未来，我们希望更进一步利用因果推理的发现帮助现实问题的决策(decision-making)。
宋祥辰：与其说因果推理在动态的时序信息中面临一些挑战，不如说这是一种让我们更好地去发现因果关系的工具。时序信息和结构本身就带有非常强的因果性，通过这种方式能让我们更好地理解整个推理结构和过程，基于这些知识对我们探索脑学相关领域具有很好的帮助作用。
曹德福：理论保证与时间序列结合后会变得非常复杂，需要有专门的理论去保证时间序列应用因果推理的能力。在具体的工作中，如何利用数据之间潜在的规律结合较成熟的时间序列假设去应对更复杂的场景是需要深入研究的。因此希望在模型中引入因果关系时能有专业处理时间序列的工具帮助更好地解决问题。
黄碧薇：在时间序列中动态的因果关系是非常必要的。在这类研究中目前一个的方法是引入time index来刻画变化的隐藏因子。
05
因果关系能够在环境改变时保证效果稳定，
但是对于特定的问题（比如预测问题），
因果关系能否提供高精度的结果？
宋祥辰：因果关系能否提供高精度的结果是和因果系统是否是可识别的有关，如果并不可识别那么一般不可以给出很好的结果。此外即便是在理论上是可识别的系统，在现实中比如数据量少或者领域分布不明显的情况下也是无法保证结果高精度的。
曹德福：对于因果关系在预测问题的应用在目前没有很多可行的解决方案，这是一个非常有前景的研究方向。此外，这可以衍生到ML for causal或causal for ML的问题上，可以根据过往的实验发现哪类任务在引入因果之后明显地带来性能提升或可解释性的增强。
黄碧薇：如何保证因果关系在环境改变时效果稳定，这取决于如何去定义因果模型。当然模型的效果也不能仅仅用预测精度来判断，还需要参考具体的研究目的和研究任务。
刘若琦：因果关系提供变量之间关联的解释，并不一定保证预测的高精度。预测问题还需要考虑除了因果之外的因素。而对于某些预测问题，因果关系可以提供一些帮助，比如训练和测试的数据分布存在差别，研究者通常会通过因果推理规避伪关联的影响，从而保证模型的鲁棒性和可迁移性。
提
醒
点击“阅读原文”跳转可以查看回放哦！
往期精彩文章推荐
记得关注我们呀！每天都有新知识！
关于AI TIME
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
迄今为止，AI TIME已经邀请了1000多位海内外讲者，举办了逾550场活动，超600万人次观看。
我知道你
在看
哦
~
点击 阅读原文 查看回放！