Resnet 改进:尝试在不同位置加入Transform模块
目录
1. TransformerBlock
2. resnet
3. 替换部分卷积层
4. 在特定位置插入Transformer模块
5. 使用Transformer全局特征提取器
6. 其他
Tips:融入模块后的网络经过测试,可以直接使用,设置好输入和输出的图片维度即可
1. TransformerBlock
TransformerBlock是Transformer模型架构的基本组件,广泛应用于机器翻译、文本摘要和情感分析等自然语言处理任务。
TransformerBlock是一个由两个子组件组成的构建块:多头注意力机制和前馈神经网络。这两个组件协同工作,处理和转换输入序列。
多头注意力机制负责从输入序列中捕获上下文信息。它通过使用多个注意力头同时关注序列的不同部分来实现这一点。每个注意力头计算每个输入元素相对于其他元素的重要性,使模型能够专注于输入序列的不同方面。
然后将前馈神经网络应用于多头注意力机制的输出。它由两个线性层组成,中间有一个非线性激活函数。这有助于