当前位置: 首页 > article >正文

2.机器学习笔记第二周

梯度下降:

就是最优选择算法的图形化表示:一个站在山顶的人,每秒走绝对小的一步,他朝着什么方向移动可以最快到达山脚。

接下来是梯度运算的数学解法:

:=是赋值的意思,a:=b就是a无论什么值,都是等于b

α在此处是学习率,也就是一次性迈多大的步子,决定我们让代价函数一次性下降多大的距离,如果是批量的学习,α是统一的。对于α左边的先保留

下面那个算法是表示同步更新

 解释斜率,后面那个导数就代表斜率,所以无论斜率正负,只要是靠近最小值,对算法来说都是有益的尝试

 关于学习了α太小或者太大,太小会导致学习速率很慢,很久才能接近最佳点,太大数据有可能不离散,错过最佳点

 优算法,由于固定学习率α有一些弊端,所以设定学习率减小随着导数减小,就可以很大程度节约开头算力,算力运用效率大大提升。

但是实际上这个是不用,α是一个固定值,而且一旦越接近最低点,导数自然是越来越小,无论是正还是负,都是越趋近最小值越小,所以这个算法很绝妙。

 线性回归的梯度下降,将梯度下降算法运用到线性回归里面

 接下来一段为摘抄,我没理解的数学算法

 

BAD 由于高数不太好,听不懂了,裂开,我学的第一个算法就因为高数学不会了。

本周总结:这周确实没怎么学懂算法,我单独理解了两个分算法的意思,但是在把他们合起来的时候,由于偏导数和一些知识,导致我没有听清楚我学到的第一个算法,很裂开。


http://www.kler.cn/a/1403.html

相关文章:

  • 手机的ip地址是根据电话卡归属地定吗
  • Redis数据库笔记——主从复制
  • 宝塔安装mongodb后,写脚本监控运行状态,关闭后自动重启
  • 人工智能与物联网:智慧城市的未来
  • 数据结构——栈的实现
  • Ubuntu网络连接问题(笔记本更换wifi后,虚拟机连不上网络)
  • 2023年江苏省职业院校技能大赛中职网络安全赛项试卷-学生组-任务书
  • openssh 9.0p1版本和openssl1.1.1o版本部署实操
  • 网络总结知识点(网络工程师必备)四
  • 多重背包的单调队列优化
  • 【大数据】Hive系列之- Hive-DML 数据操作
  • java项目发布到Linux
  • 考研数二第五讲 无穷小阶数问题的求解
  • 10.0自定义SystemUI下拉状态栏和通知栏视图(六)之监听系统通知
  • 你是真的“C”——结构体中鲜有人知的“秘密”
  • 模拟实现STL容器之vector
  • 【springboot】常用快捷键:
  • HTTP协议详解(上)
  • Canvas百战成神-圆(1)
  • 一天吃透TCP面试八股文
  • Activity工作流(三):Service服务
  • 尺取法
  • SpringCloud笔记(Hoxton)——Netflix之Ribbon负载均衡
  • 知识点16--k8s资源清单定义入门
  • 好久没写过Qt了,写个Qt回味一下信号与槽
  • 海思SD3403/SS928V100开发(7)mcp2515-SPI转CAN驱动开发