当前位置： 首页 > article >正文

记7（激活函数+多层神经网络+梯度下降法及其优化

article 2025/2/2 11:22:31

目录

  • 1、激活函数

1、激活函数

激活函数：为了模拟非线性问题，又不能使得问题过于复杂，可以设计神经元对输入信号进行线性处理，得到的线性结果再输入非线性激活函数

  • 激活函数的特点：包含充分的梯度信息；能够识别阈值

在这里插入图片描述

  • sigmoid函数：2端饱和，下面2个函数都要幂运算，运算速度会比较慢
  • 对数几率函数logistic是典型的sigmoid函数：但是它不是以0为中的，在多层神经网络中可能产生偏移，可能使得梯度下降的速度变慢（可以使用双曲正切函数代替）
    在这里插入图片描述
  • 双曲正切函数Tanh
    在这里插入图片描述
  • 上述logistic函数的导函数：可见
    梯度消失问题：例如在logistic函数的导函数取值在00.25之间，神经网络每一层都会将多个00.25相乘，误差在每一层不断衰减，网络层数较深时梯度值趋近于0，参数更新几乎停滞。

http://www.kler.cn/a/528388.html

相关文章：

  • Github 2025-01-29 C开源项目日报 Top10
  • 使用iis服务器模拟本地资源服务器unityaddressables热更新出错记录
  • Day24-【13003】短文，数据结构与算法开篇，什么是数据元素？数据结构有哪些类型？什么是抽象类型？
  • Java开发vscode环境搭建
  • （动态规划基础 打家劫舍）leetcode 198
  • 【DeepSeek-V3】AI Model Evaluation Framework and index schedule AI模型能力评价指标及对比
  • Unity3D仿星露谷物语开发26之创建场景控制管理器
  • 蓝桥杯刷题DAY1：前缀和
  • 项目练习：重写若依后端报错cannot be cast to com.xxx.model.LoginUser
  • C++ Primer 自定义数据结构
  • Linux-CentOS的yum源
  • 阶段一Python核心编程：走进Python编程的世界001
  • nth_element函数——C++快速选择函数
  • C语言：数组的介绍与使用
  • Excel 技巧23 - 在Excel中用切片器做出查询效果(★★★）
  • 4 [危机13小时追踪一场GitHub投毒事件]
  • javaEE-6.网络原理-http
  • Arduino可以做哪些有意思的项目
  • Java泛型深度解析（JDK23）
  • 牛客网第k小（详解）c++
  • 分布式微服务系统架构第90集：现代化金融核心系统
  • 深度学习之“缺失数据处理”
  • 青少年编程与数学 02-008 Pyhon语言编程基础 11课题、字典与循环语句
  • nginx目录结构和配置文件
  • 交错定理和切比雪夫节点的联系与区别
  • 【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】1.27 线性代数王国：矩阵分解实战指南