当前位置: 首页 > article >正文

Pytorch学习--神经网络--非线性激活

一、用法

torch.nn.ReLU
在这里插入图片描述

  • 图像处理中的应用:在图像处理任务中,ReLU 激活函数能够增强特征提取的能力,使网络更好地捕捉图像的细节和边缘。这是因为 ReLU 对大部分负数响应为零,能在一定程度上减少网络计算量,并对特征层起到稀疏化的效果,避免信息的过度平滑。

torch.nn.Sigmoid
在这里插入图片描述

  • 图像处理中的应用:在图像分类或二分类的场景中,Sigmoid 是常用的激活函数。尤其是在图像分割的二值掩膜生成中,Sigmoid 可以用于二分类(例如前景与背景的划分),以确定每个像素属于前景或背景的概率。

二、代码实现

对于inplace的解释( inplace 默认为 False):
在这里插入图片描述

ReLU 的简单使用

import torch
from torch import nn
from torch.nn import ReLU

input = torch.tensor([[-1,1],
                     [-0.5,5]])
input = torch.reshape(input,(1,1,2,2))


class Mary(nn.Module):
    def __init__(self):
        super(Mary,self).__init__()
        self.relu1 = ReLU()
    def forward(self,x):
        x = self.relu1(x)
        return x
Yorelee = Mary()

output = Yorelee(input)
print(output)

输出:

tensor([[[[0., 1.],
          [0., 5.]]]])

Sigmoid 的简单使用

import torch
import torchvision
from torch import nn
from torch.nn import Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10("datasets",False,torchvision.transforms.ToTensor(),download=True)
dataloader = DataLoader(dataset,64)

class Mary(nn.Module):
    def __init__(self):
        super(Mary,self).__init__()
        self.sigmoid1 = Sigmoid()
    def forward(self,x):
        x = self.sigmoid1(x)
        return x
Yorelee = Mary()

writer = SummaryWriter("logs")

step = 0
for data in dataloader:
    img,target = data
    writer.add_images("input",img,step)
    output = Yorelee(img)
    writer.add_images("output",output,step)
    step += 1
writer.close()

输出:
在这里插入图片描述
在这里插入图片描述


http://www.kler.cn/a/371545.html

相关文章:

  • GPT避坑指南:如何辨别逆向、AZ、OpenAI官转
  • Oracle创建存储过程,创建定时任务
  • 一道巧妙的卡特兰数建模
  • spring的自定义注解
  • SpringBoot后端开发常用工具详细介绍——flyway数据库版本控制工具
  • 【YOLOv11[基础]】实例分割 + 跟踪
  • 【Unity基础】初识UI Toolkit - 运行时UI
  • 【项目复现】——DDoS-SDN Detection Project
  • Nginx + Lua + Redis:打造智能 IP 黑名单系统
  • 「Mac畅玩鸿蒙与硬件14」鸿蒙UI组件篇4 - Toggle 和 Checkbox 组件
  • Conditional DETR论文笔记
  • Java基础(4)之正则,异常与文件IO流
  • KAN原作论文github阅读(readme)
  • 深度解读GaussDB逻辑解码技术原理
  • 使用 OpenCV 进行人眼检测
  • springboot天气预报推送小程序-计算机毕业设计源码41533
  • 青少年编程与数学 02-002 Sql Server 数据库应用 15课题、备份与还原
  • C++初阶(七)--类和对象(4)
  • 临接矩阵m
  • 随机题两题
  • 开源项目-投票管理系统
  • 苹果生态的机器学习和同态加密
  • Android 玩机知识储备
  • Java国际版同城打车顺风车滴滴车跑腿系统小程序源码
  • 《 Python 与股票大盘信息的奇妙之旅》
  • 深度学习案例:带有一个隐藏层的平面数据分类