Markov test笔记

补充知识

来源于数学之美第五章：

到了 19 世纪，概率论的发展从相对静止的随机变量的研究发展到随机变量的时间序列 $(s_1,s_2,s_3,\dots )$，即随机过程（动态的）。这在哲学的意义上，是人类认识的一个飞跃。但是，随机过程比随机变量复杂得多。在任意时刻 $t$，对应的状态为 $s_t$都是随机的。举一个简单的例子，可以把$s_1,s_2,s_3,\dots$当作每天的最高气温，每天的最高气温可能和周围的状态有关，还和以前的最高气温有关，这样的随机过程就有两个维度的不确定。马尔可夫为了简化这个问题，提出了一种简单化的假设，即对于任何状态$s_t$，未来的状态 $s_{t+1}$ 仅依赖于当前的状态 (s_t)，而与过去的状态无关。这可以表示为：

$$P(s_{t+1}\mid s_t,s_{t-1},\dots ,s_0)=P(s_{t+1}\mid s_t)$$

对于天气预报，硬性假定今天的气温只与昨天有关而和前天无关。当然这种假设未必适合所有的应用，但是至少对以前很多不好的问题给出了近似解。这个假设后来被命名为马尔可夫假设，而符合这个假设的随机过程则称为马尔可夫过程，也称为马尔可夫链。

因此，马尔可夫链体现了一种无记忆性，而状态表示为一个离散的马尔可夫状态空间。

假设检验的步骤：

• 提出相关的原假设和备择假设。
• 选择合适的统计量（不需要未知参数的值、仅从样本计算得到的量为统计量）
• 在原假设成立的情况下考虑统计量的分布

1997Do interest rates really follow continuous-time Markov diffusions?

Ait-Sahalia (1997) first proposes a test for whether the interest rate process is Markov by checking the validity of the \textcolor{red}{Chapman-Kolmogorov equation}

利率在文献中传统上被建模为遵循连续时间马尔可夫过程，特别是扩散过程。相比之下，最近的期限结构模型常常暗示非马尔可夫的连续时间动态。离散采样的利率数据能否帮助决定哪些连续时间模型是合理的？

首先，马尔可夫假设的合理性如何？将提出一个检验该假设的方法。其次，如果该过程是马尔可夫的，能否进一步识别为扩散过程，正如大多数理论文献所假设的那样？将提出第二个检验，旨在检验在保持马尔可夫假设下的扩散假设。在马尔可夫的框架内，扩散过程的特征是其样本路径的连续性。然而，显然这一条件无法从观察到的样本路径中验证：即使样本路径是连续的，离散采样的利率数据也会呈现为一系列离散变化。本文探讨在离散数据中观察到的不连续性是否来源于采样的离散性，还是对连续时间利率过程真正的非扩散动态的证据。问题在于隔离出作为连续时间扩散的不完整离散样本对数据的可观察影响。本文的答案依赖于在观察数据的采样间隔上检验扩散的条件密度的必要性和充分性约束。这一约束特征化了不可观察的完整样本路径的连续性。

测试统计量的分布以及它们的一致性和效能特性被推导出来。我们在实证上发现：(i) 短期利率(一年期)和长期利率（一年以上的利率）都不能单独被表征为马尔可夫过程；(ii) 它们共同形成一个马尔可夫系统；(iii) 收益曲线的斜率是一个单变量马尔可夫过程；(iv) 同时也是一个扩散过程。作为警示，这些初步的实证结果对数据集的选择敏感。

涉及到扩散过程，看不懂。

2012TESTING FOR THE MARKOV PROPERTY IN TIME SERIES

Markov decision processes (MDP)在不确定的情况下做序列决策。在MDP框架下，一个合适的决策准则是只依赖于现在的状态。最近non-MDP(NMDP)吸引了很多注意力。将马尔可夫决策过程（MDP）最直接扩展到非马尔可夫决策过程（NMDP）的方法是剥夺决策者对环境状态的完美信息。

在金融领域，马尔可夫性质是大多数连续时间建模中最常见的假设之一。众所周知，随机积分会产生马尔可夫过程。举了很多例子说明很多模型都是基于马尔可夫假设。

我们对检验马尔可夫性质的兴趣也源于其在实际应用中的广泛性。一个重要的类别是基于价格的技术策略，这些策略是基于过去价格的预测，通常通过移动平均规则进行。然而，如果价格历史没有提供额外的信息，也就是说当前价格已经包含了所有信息，那么基于价格的技术策略将不会有效。

尽管有大量基于马尔可夫过程的研究，但文献中关于马尔可夫性质的检验却寥寥无几。

In this paper we provide a conditional characteristic function (CCF) characterization for the Markov property and use it to construct a nonparametric test for the Markov property.

涉及到傅立叶变换

2020Does the markov decision process fit the data- Testing for the markov property in sequential decision making

马尔可夫假设（MA）是强化学习在实证中应用有效性的基础。

Testing for the Markov property in time series via deep conditional generative learning

创新点：写在前面，其实这篇文章是基于Section 3。只是在高维情况下前面的文章表现不好，不是consistent。想到深度学习的方法可以估计conditional distributions。但是呢还不能直接用，还得改良一下。

马尔可夫性质是时间序列分析的基础，但是挑战比较多，尤其是在高维时间序列分析中。

用深度学习的方法去解决test的问题，深度学习的工具很少应用到统计领域中。deep conditional generative models作为一个工具可以很好地学习conditional probability distributions，并且比传统的kernel 的方法更好，在高维上。

本文不是简单的将深度学习的工具应用一下，并且我们做了重要的改进，还有理论性质。

Markov property test

换一种方式也就是。在零假设 $H_0$下，马尔可夫性质成立。直观上，这一性质要求在给定当前值的条件下，过去和未来的值彼此独立。
X t + q ⊥ { X j } t ≤ j < t + q − 1 ∣ X t + q − 1 X_{t+q}\perp \{X_{j}\}_{t\leq j<t+q-1}\mid X_{t+q-1} Xt+q​⊥{Xj​}t≤j<t+q−1​∣Xt+q−1​
for any time $t$ and any lag $q\ge 2$.

本文用的还是CCF的概念，首先理解一下特征函数的含义。特征函数其实是包含了各阶矩的信息，所以也是掌握了分布的全部信息。条件特征分布也是类似的概念。所以test转化为
$$H_0:\varphi (u\mid X_t)=\varphi (u\mid I_t)$$

这里还要补充一些概念:

• 马尔可夫过程（\textcolor{red}{Markov Process}）是一类重要的随机过程，其核心特性是“无记忆性”，即未来状态只依赖于当前状态，而与过去的状态无关。
• 一个随机过程 ((X_n)_{n \geq 0}) 被称为鞅（\textcolor{red}{Martingale}），如果满足以下条件：

$$\mathbb{E}[X_{n+1}\mid {\mathcal{F}}_n]=X_n,\forall n\ge 0$$

其中，${\mathcal{F}}_n$ 是在时刻 $n$ 可得的信息集（即 $\sigma$-代数）。

马尔可夫过程可以是鞅，但并非所有的马尔可夫过程都是鞅。例如，马尔可夫链的状态转移可以具有特定的期望，但不一定满足鞅的条件。

• martingale difference sequence (MDS)

In probability theory, a ``martingale difference sequence’’ (MDS) is related to the concept of the martingale (probability theory). A stochastic series $X$ is an MDS if its expectation with respect to the past is zero. Formally, consider an adapted sequence { X t , F t } − ∞ ∞ \{X_t, \mathcal{F}_t\}_{-\infty}^{\infty} {Xt​,Ft​}−∞∞​ on a probability space $(\Omega ,\mathcal{F},\mathbb{P})$. $X_t$ is an MDS if it satisfies the following two conditions:

$\mathbb{E}\left|X_t\right|<\infty$, and $ \mathbb{E} \left[X_t | \mathcal{F}_{t-1}\right] = 0, a.s.$, for all $t$. By construction, this implies that if $Y_t$ is a martingale, then $X_t=Y_t-Y_{t-1}$ will be an MDS–hence the name.

那么test又可以转化一下。首先定义
We define a complex-valued process

$$Z_{t+1}(u)=e^{i{u}^{{}^{\prime }}{X}_t}-\phi (u\mid X_t),u\in {\mathbb{R}}^d.$$

Then the Markov property is equivalent to the MDS characterization:

$$\mathbb{E}[Z_{t+1}(u)\mid {\mathcal{I}}_t]=0\text{for all }u\in {\mathbb{R}}^d\text{ and }t\ge 1.$$