使用时间潜在瓶颈网络进行图像分类
介绍
简单的循环神经网络（RNN）对学习 时间压缩表示表现出强烈的归纳偏差。方程 1显示了递推公式，其中h_t是整个输入序列 的压缩表示（单个向量）x。
|
|
|---|
| 方程 1：递推方程。（来源：Aritra 和 Suvaditya） |
另一方面，Transformers（Vaswani 等人）对于学习时间压缩表示几乎没有归纳偏差
简单的循环神经网络（RNN）对学习 时间压缩表示表现出强烈的归纳偏差。方程 1显示了递推公式，其中h_t是整个输入序列 的压缩表示（单个向量）x。
|
|
|---|
| 方程 1：递推方程。（来源：Aritra 和 Suvaditya） |
另一方面，Transformers（Vaswani 等人）对于学习时间压缩表示几乎没有归纳偏差