Ai大模型day02神经网络+深度学习
(Aritifcial) Neuron神经网络
Training Objective训练神经网络
缩小损失函数，参数对梯度进行改变，降低损失
Word2Vec 神经网络训练
使用滑动窗口构建
RNN 循环神经网络
门控机制，决定哪些信息传到下一层
CNN 卷积神经网络语言模型
应用NLP、情感分类
cnn和rnn区别
cnn局部处理特征，rnn擅长处理变长的文本，rnn参数两比cnn多一些。rnn前后数据有很强以来关系，不能进行并行化计算。解决办法，用transformer进行加速运算
cnn是数据向量化，前后数据没有很强依赖关系。
NLP Pipeline Tutorial(PyTorch)案例
数据训练流程
1.准备数据
2.建立模型
3.训练模型
4.验证模型
5.测试模型
cross_entropy是一个常用的用于分类的目标函数。
