当前位置：首页 > article >正文

跟李沐学AI：序列模型

article 2024/11/18 11:32:38

序列数据

自回归模型

马尔可夫假设

潜变量模型

序列模型总结

序列数据

实际中很多数据是时序结构的，如：电影的评价随时间的变化而变化：拿奖后评分上升、电影整体质量提升，人们要求变高。。。等等

除此之外，音乐、语言、文本和视频都是连续的序列数据。

自回归模型

自回归模型的基本思想是，给定一个序列 $(x_1,x_2,\dots,x_t)$ ，我们可以根据之前的时间点上的值来预测下一个时间点的值 $x_{t+1}$ 。具体来说，自回归模型尝试拟合如下形式的概率分布： $P(x_t \mid x_{t-1}, \ldots, x_1)$

这个概率分布可以用来生成新的序列数据。生成过程是从序列的开始部分逐步向前推进，每一步都基于之前已知的数据来预测下一个元素。

自回归模型有两种基本策略：

马尔可夫假设

马尔可夫模型假设当前数据只与前tau个数据相关。即 $p(x_t\mid x_1,\dots,x_{t-1})=p(x_t\mid x_{t-\tau,\dots,x_{t-1}})$ ，如果 $\tau=1$ 即可得到一阶马尔可夫模型：

潜变量模型

潜变量模型引入一个潜变量 $h_t$ 来表示过去信息 $h_t=f(x1,\dots,x_{t-1})$ ，这种情况下： $x_t=p(x_t\mid h_t)$ 。潜变量模型涉及两个模型，一个模型基于 $x_t$ 和 $h_t$ 计算 $h_{t+1}$ ，一个模型基于 $x_t$ 和计算得出的 $h_{t+1}$ 计算 $x_{t+1}$ 。