当前位置： 首页 > article >正文

遗忘的数学（拉格朗日乘子法、牛顿法）

article 2024/11/15 8:54:12

目录

拉格朗日乘子法定理 

证明：​编辑 

应用条件与符号选择

雅可比矩阵

黑塞矩阵 

牛顿法

解方程的根的牛顿法

解方程组的根的牛顿法

数值优化的牛顿法（求最值）

 

拉格朗日乘子法定理 

证明： 

dSi这一段没看懂……

应用条件与符号选择

符号 

f+μigi

max f，则把gi符号调成正的

min f,     则把gi符号调成负的 

这样引入的参数都是正的了

感谢——

最优化方法三：等式约束优化、不等式约束优化、拉格朗日乘子法证明、KKT条件_有约束最优化问题 不等式约束-CSDN博客

雅可比矩阵

有多个函数fi，多个变量xi

都是一阶导

黑塞矩阵 

都是二阶导

牛顿法

解方程的根的牛顿法

是不动点迭代的特例

x_{k+1}=x_k-\frac{f(x_k)}{f'(x_{k}))}

每次沿着切线方向下降，与x轴相交

由来：taylor展开

 

f(x)=f(x_k)+f'(x_k)(x-x_k)

令f(x)=0

x=x_{k+1}即可。 

解方程组的根的牛顿法

f(\vec{x})=f(\vec{x_k})+J (x_k)(\vec{x}-\vec{x_k})

即解方程组

f(x_k)+J (x_k)(x_{k+1}-x_k)=0

可以预见

x_{k+1}=x_k-\frac{f(x_k)}{J (x_{k}))}=x_k-J(x_k)^{-1}f(x_k)

数值优化的牛顿法（求最值）

对f进行泰勒展开

f(x)=f(x_k)+g(x_k)(x-x_k)+\frac{1}{2}(x-x_k)^TG(x-x_k) + \cdot \cdot \cdot

只取省略号前面的

d_k=x-x_k

f(x)=f(x_k)+g(x_k)d_k+\frac{1}{2}(d_k)^TG(d_k)

对d_k求导（即梯度下降）

g_k+Gd_k=0

下降方向x_{k+1}-x_k=d_k=-G^{-1}g_k

G是黑塞矩阵

理论上这样迭代可以得到最优值（梯度为0）

 


http://www.kler.cn/a/319574.html

相关文章：

  • arcgis做buffer
  • 爬虫补环境案例---问财网（rpc，jsdom，代理，selenium）
  • 信号-3-信号处理
  • C++ 的协程
  • 论文解析：边缘计算网络中资源共享的分布式协议（2区）
  • Matlab: 生成对抗网络，使用Datastore结构输入mat格式数据
  • （16）docker自动镜像打包脚本
  • 【Power Query】追加查询（动态列，动态路径）
  • 微软宣布弃用WSUS，企业用户尽早准备替换方案
  • [RabbitMQ] RabbitMQ介绍,安装与快速上手
  • 虚拟机开启网络代理设置,利用主机代理访问国外资源
  • Vue3：toRaw与markRaw
  • LeetCode 210. 课程表 II
  • yum 集中式安装 LNMP
  • 当电子设计竞赛照进生活！
  • 深入探秘 WorkManager：Android 异步任务管理的强大工具
  • 探索《藏汉翻译通》小程序：跨平台的藏文翻译利器
  • PostgreSQL - pgvector 插件构建向量数据库并进行相似度查询
  • django应用JWT(JSON Web Token)实战
  • C语言习题~day35
  • 产业报告 | 2024年中国机器人产业研究报告
  • 【裸机装机系列】15.kali(ubuntu)-重装linux步骤
  • android 14分屏实战之小米su7的3分屏实现方案讨论及线索征集
  • 智慧城市运营模式--政府和社会资本合作
  • 【Java数据结构】--- 优先级队列
  • fastjson的json字符串转List