当前位置： 首页 > article >正文

【Pytorch】神经网络介绍|激活函数|使用pytorch搭建方法

article 2024/11/15 5:40:33

神经网络

神经网络介绍

概念

  • 神经网络

    • 人工神经网络ANN 也称神经网络NN 是一种模仿生物神经网络结构和功能的计算模型
    • 人脑可以看作是一个生物神经网络,由众多神经元连接而成,神经网络可以看作是模拟生物神经元的过程

在这里插入图片描述

  • 输入层 input Layer: 输入x的那一层

  • 输出层 output Layer: 输出y的那一层

  • 隐藏层 hidden Layer: 输入层和输出层之间是隐藏层

  • 特点是:

    • 每一层神经元之间没有链接
    • 第n层的每个神经元和第n-1层的所有神经元相连接(full connected 全连接神经网络)
    • 第n-1层神经元的输出是第n层神经元的输入
    • 每个连接都有一个权重值(w系数和b系数)

激活函数

​ 激活函数用于对每层的输出数据进行变换, 进而为整个网络注入非线性因素.此时神经网络就可以拟合各种曲线

没有引入非先行因素的网络等价于使用一个线性模型来拟合,通过给网络输出增加激活函数,实现引入非线性因素,使得网络模型可以逼近任意函数,提升网络对复杂问题的拟合能力

sigmoid 激活函数

在这里插入图片描述

  • 将任意的输入映射到0,1之间, 当输入的值<-6或者<6时,输入任何值得到的激活值都是差不多的,意味着会丢失信息
  • sigmoid输入值在[-6,6]之间才会有明显差异[-3,3]之间才会有比较好的效果
  • sigmoid网络在5层之内就会产生梯度消失现象,sigmoid函数一般只用于二分类的输出层
import torch
import matplotlib.pyplot as plt

# 创建画布和坐标轴
_, axes = plt.subplots(1, 2)
# sigmoid函数图像
x = torch.linspace(-20, 20, 1000)
# 输入值x通过sigmoid函数转换成激活值y
y = torch.sigmoid(x)
axes[0].plot(x, y)
axes[0].grid()
axes[0].set_title('Sigmoid 函数图像')

# sigmoid导数图像
x = torch.linspace(-20, 20, 1000, requires_grad=True)
torch.sigmoid(x).sum().backward()
# x.detach():输入值x的数值
# x.grad:计算梯度，求导
axes[1].plot(x.detach(), x.grad)
axes[1].grid()
axes[1].set_title('Sigmoid 导数图像')
plt.show()
tanh激活函数

在这里插入图片描述

  • Tanh函数将输入映射到(-1,1)之间,图像在0处对称,导数范围在(0,1)当输入值<-3或>3时,导数近似0
  • 与sigmoid相比,它是以0为中心的,且梯度相对于sigmoid大,使得其收敛速度闭sigmoid快,同样,tanh也会梯度消失
  • 使用时可在隐藏层使用tanh输出层用sigmoid
import torch
import matplotlib.pyplot as plt

# 创建画布和坐标轴
_, axes = plt.subplots(1, 2)
# 函数图像
x = torch.linspace(-20, 20, 1000)
y = torch.tanh(x)
axes[0].plot(x, y)
axes[0].grid()
axes[0].set_title('Tanh 函数图像')

# 导数图像
x = torch.linspace(-20, 20, 1000, requires_grad=True)
torch.tanh(x).sum().backward()
axes[1].plot(x.detach(), x.grad)
axes[1].grid()
axes[1].set_title('Tanh 导数图像')
plt.show()
ReLU激活函数

在这里插入图片描述

  • ReLU激活函数将小于0的值映射为0,而大于0的值保持不变,更加重视正信号,忽略负信号,更为简单,提高模型的训练效率
  • x>0时,保持梯度不衰减,但是随着训练的进行,部分输入会落入x<0区域,导致对应的权重无法更新,这种情况被称为神经元死亡
  • ReLU是目前最常用的激活函数与sigmoid相比ReLU的优势是
    • 计算量少
    • sigmoid进行反向传播是,很容易出现梯度消失的情况,无法完成深层网络的训练,Relu会使一部分神经元输出为0,缓解了过拟合的发生
# 创建画布和坐标轴
import torch
from matplotlib import pyplot as plt

_, axes = plt.subplots(1, 2)
# 函数图像
x = torch.linspace(-20, 20, 1000)
y = torch.relu(x)
axes[0].plot(x, y)
axes[0].grid()
axes[0].set_title('ReLU 函数图像')
# 导数图像
x = torch.linspace(-20, 20, 1000, requires_grad=True)
torch.relu(x).sum().backward()
axes[1].plot(x.detach(), x.grad)
axes[1].grid()
axes[1].set_title('ReLU 导数图像')
plt.show()
SoftMax激活函数

在这里插入图片描述

softmax将网络输出的logits通过softmax函数,映射为0,1之间的值,这些值的累和为1,选取值最大的节点,作为预测目标的类别

import torch

scores = torch.tensor([0.2, 0.02, 0.15, 0.15, 1.3, 0.5, 0.06, 1.1, 0.05, 3.75])
# dim = 0,按行计算
probabilities = torch.softmax(scores, dim=0)
print(probabilities)
其他常用的激活函数

在这里插入图片描述

参数初始化方法

  • 均匀分布初始化

    • 权重参数初始化从区间均匀随机取值

  • 正态分布初始化

    • 随机从均值为0,标准差为1的高斯分布中取样

  • 全0初始化

    • 所有权重参数初始化为0

  • 全1初始化

    • 所有权重参数初始化为1

  • 固定值初始化

    • 将神经网络中的所有权重参数初始化为某个固定值

  • Kaiming初始化 HE初始化

    • 分为正态分布的HE初始化和均匀分布的HE初始化
    • 正态化的HE初始化
      • stddev = sqer(2/fan_in)
    • 均匀分布的HE初始化
      • 从[-limit,limit]中的均匀分布抽取样本 limit是sqrt(6/fan_in)
    • fan_in是输入神经元的个数

  • Xavier初始化 Glorot初始化

    • 该方法也有两种，一种是正态分布的 xavier 初始化、一种是均匀分布的 xavier 初始化.
      • 正态化的Xavier初始化
        • stddev = sqrt(2 / (fan_in + fan_out))
      • 均匀分布的Xavier初始化
        • [-limit，limit] 中的均匀分布中抽取样本, limit 是 sqrt(6 / (fan_in + fan_out))
      • fan_in 是输入神经元的个数， fan_out 是输出的神经元个数
    import torch
import torch.nn.functional as F
import torch.nn as nn

# 1. 均匀分布随机初始化
def test01():
    linear = nn.Linear(5, 3)
    # 从0-1均匀分布产生参数
    nn.init.uniform_(linear.weight)
    print(linear.weight.data)

# 2.固定初始化
def test02():
    linear = nn.Linear(5, 3)
    nn.init.constant_(linear.weight, 5)
    print(linear.weight.data)

# 3. 全0初始化
def test03():
    linear = nn.Linear(5, 3)
    nn.init.zeros_(linear.weight)
    print(linear.weight.data)

# 4. 全1初始化
def test04():
    linear = nn.Linear(5, 3)
    nn.init.ones_(linear.weight)
    print(linear.weight.data)

# 5. 正态分布随机初始化
def test05():
    linear = nn.Linear(5, 3)
    nn.init.normal_(linear.weight, mean=0, std=1)
    print(linear.weight.data)

# 6. kaiming 初始化
def test06():
    # kaiming 正态分布初始化
    linear = nn.Linear(5, 3)
    nn.init.kaiming_normal_(linear.weight)
    print(linear.weight.data)

    # kaiming 均匀分布初始化
    linear = nn.Linear(5, 3)
    nn.init.kaiming_uniform_(linear.weight)
    print(linear.weight.data)

# 7. xavier 初始化
def test07():
    # xavier 正态分布初始化
    linear = nn.Linear(5, 3)
    nn.init.xavier_normal_(linear.weight)
    print(linear.weight.data)

    # xavier 均匀分布初始化
    linear = nn.Linear(5, 3)
    nn.init.xavier_uniform_(linear.weight)
    print(linear.weight.data)

神经网络搭建和参数计算

在pytorch中定义深度神经网络其实就是层堆叠的过程，继承自nn.Module，实现两个方法：

  • __init__方法中定义网络中的层结构，主要是全连接层，并进行初始化
  • forward方法，在实例化模型的时候，底层会自动调用该函数。该函数中可以定义学习率，为初始化定义的layer传入数据等。
    在这里插入图片描述

编码设计如下:

  • 第1个隐藏层：权重初始化采用标准化的xavier初始化 激活函数使用sigmoi
  • 第2个隐藏层：权重初始化采用标准化的He初始化 激活函数采用relu
  • out输出层线性层 假若二分类，采用softmax做数据归一化
import torch
import torch.nn as nn
from torchsummary import summary  # 计算模型参数,查看模型结构, pip install torchsummary
# 创建神经网络模型类
class Model(nn.Module):
    # 初始化属性值
    def __init__(self):
        super(Model, self).__init__() # 调用父类的初始化属性值
        self.linear1 = nn.Linear(3, 3) # 创建第一个隐藏层模型, 3个输入特征,3个输出特征
        nn.init.xavier_normal_(self.linear1.weight) # 初始化权
        # 创建第二个隐藏层模型, 3个输入特征(上一层的输出特征),2个输出特征
        self.linear2 = nn.Linear(3, 2)
        # 初始化权重
        nn.init.kaiming_normal_(self.linear2.weight)
        # 创建输出层模型
        self.out = nn.Linear(2, 2)
# 创建前向传播方法,自动执行forward()方法
    def forward(self, x):
        # 数据经过第一个线性层
        x = self.linear1(x)
        # 使用sigmoid激活函数
        x = torch.sigmoid(x)
        # 数据经过第二个线性层
        x = self.linear2(x)
        # 使用relu激活函数
        x = torch.relu(x)
        # 数据经过输出层
        x = self.out(x)
        # 使用softmax激活函数
        # dim=-1:每一维度行数据相加为1
        x = torch.softmax(x, dim=-1)
        return x
if __name__ == "__main__":
    # 实例化model对象
    my_model = Model()
    # 随机产生数据
    my_data = torch.randn(5, 3)
    print("mydata shape", my_data.shape)
    # 数据经过神经网络模型训练
    output = my_model(my_data)
    print("output shape-->", output.shape)
    # 计算模型参数
    # 计算每层每个神经元的w和b个数总和
    summary(my_model, input_size=(3,), batch_size=5) 
    # 查看模型参数
    print("======查看模型参数w和b======")
    for name, parameter in my_model.named_parameters():
        print(name, parameter)

http://www.kler.cn/a/393987.html

相关文章：

  • 【FFmpeg】FFmpeg 函数简介 ③ ( 编解码相关函数 | FFmpeg 源码地址 | FFmpeg 解码器相关 结构体 和 函数 )
  • 闯关leetcode——3178. Find the Child Who Has the Ball After K Seconds
  • 将Excel文件的两个表格经过验证后分别读取到Excel表和数据库
  • 边缘的检测
  • 【mysql】使用宝塔面板在云服务器上安装MySQL数据库并实现远程连接
  • 应用于新能源汽车NCV4275CDT50RKG车规级LDO线性电压调节器芯片
  • .Net Core根据文件名称自动注入服务
  • Vim 编辑器学习笔记
  • wordpress functions文件的作用及详细说明
  • 网络安全：守护数字世界的坚固防线
  • 3D编辑器教程：如何实现3D模型多材质定制效果？
  • opencv常用api
  • python 编程 在 Matplotlib 中 默认预定的所有颜色，可以使用多种方法来指定颜色，包括预定义的颜色名称、十六进制颜色代码、
  • HarmonyOS Next 组件或页面之间的所有通信（传参）方法总结
  • 用 Python 从零开始创建神经网络（三）：添加层级（Adding Layers）
  • Rust泛型系统类型推导原理（Rust类型推导、泛型类型推导、泛型推导）为什么在某些情况必须手动添加泛型特征约束？（泛型trait约束）
  • 数据结构——排序（续集）
  • HOW - PPT 制作系列（一）
  • 微搭低代码私有化部署搭建教程
  • AI Netflix 互动视频：Prompt、画面实时生成、无限体验
  • Configuration Drift（配置漂移）
  • 爬虫日常练习
  • 鸿蒙UI开发——使用动画曲线
  • git入门环境搭建
  • 电商系统设计与实现：Spring Boot框架
  • Linux下MySQL的安装（Centos7）