神经网络常见操作(卷积)输入输出
卷积
- dim=d的tensor可以进行torch.nn.Convnd(in_channels,out_channels),其中n=d-1,d-2
- 对于torch.nn.Convnd(in_channels,out_channels),改变的是tensor的倒数n+1维的大小
全连接
- 使用torch.nn.Linear(in_features,out_features,bias)实现
- Y=XWT +b,其中X 的形状为 (batch_size,in_features),而 W T的形状为 (in_features,out_features),b 的形状为 (out_features),在加法操作中会自动扩展为 (batch_size,out_features)。
- 在 PyTorch 中,torch.nn.Linear 的权重矩阵W不需要手动设置,它会在初始化时自动生成并进行默认的初始化,使用均匀分布或正态分布(由参数设定)
- 偏置向量 b 默认为全零