【博学谷学习记录】超强总结，用心分享丨人工智能 AI项目 统计语言模型之HMM初步学习总结

语法模型

语料库文本：

研究 生命 起源
研究生 命题 大纲
研究生 招生 信息网

计算3个句子的概率：

$p(研究生命起源)=\frac{1}{3}$
$p(研究生命题大纲)=\frac{1}{3}$
$p(研究生招生信息网)=\frac{1}{3}$

问题：以一本书多几本书作为训练集，书中大部分句子不同，所以概率相等，而实际使用模型时，传入的句子在训练集中没有，则会概率为0。

由于句子都是由单词构成的，句子没有重复的，但是单词却是不断重复使用的。所以我们用单词每个单词的概率以数学角度计算句子的概率。
把句子表示成单词列表$w=w_1{w}_2\dots w_k$

$$\begin{gathered} p(w)=p(w_1{w}_2\dots w_k) \\ =p(w_1|w_0)\times p(w_2|w_0{w}_1)\times \cdots \times p(w_{k+1}|w_0{w}_1{w}_2\dots w_k) \\ =\prod _{t=1}^{k+1}p(w_t|w_0{w}_1{w}_2\dots w_{t-1}) \end{gathered}$$

其中$w_0=BOS$（Begin Of Sentence，有时也用<s>），$w_{k+1}=EOS$（End Of Sentence，有时也用</s>表示）是用来标示句子首尾的两个特殊单词。

二元语法模型

$$\begin{gathered} p(w)=p(w_1{w}_2\dots w_k) \\ =p(w_1|w_0)\times p(w_2|w_1)\times \cdots \times p(w_{k+1}|w_k) \\ =\prod _{t=1}^{k+1}p(w_t|w_{t-1}) \end{gathered}$$

简单来说，当前词概率只与前一个词有关。
一元则是只与当前词有关，n元则是当前词概率则与前n-1个词有关

HMM（隐马尔可夫模型）

隐马尔可夫模型（Hidden Markov Model，HMM）是描述两个时序序列联合分布$p(x,y)$的概率模型：
$x$序列外界可见，称为观测序列；
$y$序列外界不可见，称为状态序列。
比如观测$x$为单词，状态$y$为词性。我们需要根据单词序列去猜测单词的词性。之所以称为“隐”是因为在外界看来，状态序列（例如词性）是隐藏不可见的。

马尔可夫假设，每个事件发生的概率只取决于前一个事件，将满足该假设的连续多个事件串联在一起，就构成马尔可夫链。在NLP中马尔可夫链模型就是二元语法模型。

概率计算引入概念

4个盒子，每个盒子里面有不同数量的红、白两种颜色的球：

有放回地抽出5个球： O = { 红 , 红 , 白 , 白 , 红 } O=\{红, 红, 白, 白, 红\} O={红,红,白,白,红}

初始概率向量

$\pi =(0.25,0.25,0.25,0.25{)}^T$

表示第一个球从每个盒子抽取的概率，4个盒子概率相同，则分别是0.5

状态转移概率矩阵

$$A=\left[\begin{array}{cccc}0& 1& 0& 0\\ 0.4& 0& 0.6& 0\\ 0& 0.4& 0& 0.6\\ 0& 0& 0.5& 0.5\end{array}\right]$$

第一行表示由第一个盒子 转移 到第一个盒子抽的概率为0，第二个盒子的概率为1，第三个盒子的概率为0，第四个盒子的概率为0
第二行则是第二个盒子转移到每个盒子的概率…

观测概率矩阵（也称发射概率矩阵）

$$B=\left[\begin{array}{cc}0.5& 0.5\\ 0.3& 0.7\\ 0.6& 0.4\\ 0.8& 0.2\end{array}\right]$$

4行分别代表4个盒子，第一列则是从盒子中抽红球的概率，第二行表示抽白球的概率

心得：了解了一些基本概念，对模型的使用场景有了简单的了解。