【王树森】RNN模型与NLP应用(9/9)：Self-Attention（个人向笔记）
前言
上节课讲到的attention用到了Seq2Seq模型上，而Attention并不局限与Seq2Seq模型，而是可以用在所有RNN模型上。Self-attention在原论文中用到了LSTM上，而本节课做了简单的替换：换成了 Simple RNN。
SimpleRNN + Self-Attention
下面的 h 0 h_0 h0 为初始状态，是一个全0向量
- 无 Self-Attention 的更新状态：
- 有 Self-Attention 的更新状态：把
h
0
h_0
h0 换成了
c
0
c_0
c0
- 接下来需要计算
c
1
c_1
c1 ，上节课提到
c
c
c 需要根据
h
h
h 来计算，而此时
h
0
h_0
h0 为全 0 向量，所以
c
1
c_1
c1 就等于
h
1
h_1
h1：
-
h
2
h_2
h2 同理：
- 相关性与
c
2
c_2
c2 的计算需要同时包含
h
2
h_2
h2：后面的过程类似
Summary
- Self-Attention能很大程度上解决RNN遗忘的问题
- Self-Attenion和Attention的原理是一样的，但是Self-Attention不局限于Seq2Seq模型上，而是可以应用到所有RNN上
- 除了避免遗忘，Self-Attention还能帮助关注相关的信息