当前位置： 首页 > article >正文

《机器学习by周志华》学习笔记-神经网络-04全局最小误差与局部极小误差

article 2025/2/21 3:38:54

1、神经网络中误差的概念及公式

 根据上文《逆误差传播算法》我们可以知道误差公式的演化：

        ① 第k个训练样例的误差函数：E_{k}=\frac{1}{2}\sum_{j=1}^{l}\left ( \widehat{y}_{j}^{k}-y_{j}^{k} \right )^{2}

        ②该训练集的累积误差函数：E=\frac{1}{m}\sum_{k=1}^{m}E_{k}=\frac{E_{1}+E_{2}+...+E_{m}}{m}

        ③正则化误差目标函数：E=\lambda \frac{1}{m}\sum_{k=1}^{m}E_{k}+(1-\lambda )\sum_{v=1}^{q(d+1+l)+l}\nu _{v}^{2}

其中：

  • E_{k}：表示第k个训练样例的误差；
  • \nu _{v}：表示连接权重和阈值任意参数；
  • 根据上文我们可知需要确定的参数个数有：(d\times q)+q+(q\times l)+l=q(d+1+l)+l；
  • \sum_{v=1}^{q(d+1+l)+l}\nu _{v}^{2}：表示所有连接权重与阈值参数的平方和；
  •  \lambda\in (0,1)：用于对经验误差与网络复杂度这两项的这种参数（通过

http://www.kler.cn/a/375946.html

相关文章：

  • 数学建模学习（132）：使用Python基于Fuzzy VIKOR的多准则决策分析
  • 大舍传媒：海外发稿的卓越选择——老挝新闻网报道及海外媒体发布服务
  • Apache HTTPD多后缀解析漏洞
  • 2022 NOIP 题解
  • 大模型面试题全面总结：每一道都是硬核挑战
  • C++进阶：封装红黑树实现map和set
  • 手机怎么玩尖塔杀戮？远程玩尖塔杀戮教程
  • C语言原码、反码和补码的详解
  • Vue 如何自定义组件：从入门到精通
  • 【保姆级教程】Linux服务器本地部署Trilium+Notes笔记结合内网穿透远程在线协作
  • 搞人工智能开源大语言模型GPT2、Llama的正确姿势
  • 企业后端系统通用模版
  • javaScript 和 Java 的语法区别（有前端基础）
  • 【网络安全】|nessus使用
  • 【论文速读】| RED QUEEN: 保护大语言模型免受隐蔽多轮越狱攻击
  • 基于SSM医院门诊互联电子病历管理系统的设计
  • vue.set主要是干啥的，有啥作用
  • 指定 Maven 使用的 Java 版本
  • 数据库存储过程的后端调用（SQLServer）
  • [241102] Fedora Linux 41 正式发布 | Wasmer 5.0 发布