当前位置: 首页 > article >正文

20241230 机器学习ML -(1)线性回归(scikitlearn)

机器学习ML入门。

线性回归

ScikitLearn
LR Ridge Lasso ElasticNet
L2:解决共线性问题
(Colinearity Problem)

L1:特征选择
(AI的解释)
W=XtX XtY  (Xw=Y >> XtXw= XtY)
当 COND(Xtx) ~ infinit, 导致inv(XtX)无解

举例:
12
23
46

XtX=[14,28]
       [28,56]

eigVal=det([14-lamb, 28]
                    28, 56-lamb)=(14-lamb)(56-lamb) - 28*28
lamb1 = 70
lamb2 = 0

cond(XtX)= 70/0 = infinit
(AI的解释)
W=(XtX + lambda E)^-1 XtY
加入L2/L1 后,限制w的大小(方差减少,而可能偏差会加大)
>> cond(XtX) 变小,改善数值稳定性
>> coef系数变小,复合直觉。

举例:
12
23
46

alpha 10
      01

XtX=[14,28]  + alpha
       [28,56]

eigVal=det([15-lamb, 28]
                    28, 5

http://www.kler.cn/a/449195.html

相关文章:

  • 重温设计模式--组合模式
  • 维克日记:私密写作新选择,轻松记录生活点滴
  • ansible play-book玩法
  • Java/JDK下载、安装及环境配置超详细教程【Windows10、macOS和Linux图文详解】
  • java后端传时间戳给前端的三种方式
  • 重温设计模式--职责链模式
  • 标贝科技受邀出席2024ADD数据应用场景大会 共议数据要素发展新契机
  • 基于SSM+Vue的心理咨询问诊系统+LW示例参考
  • 基于Vue.js和SpringBoot的笔记记录分享网站的设计与实现(文末附源码)
  • PHP 新手教程:从入门到构建简单网页
  • 感知机与逻辑回归的异同点
  • 【CDN】快速了解CDN是什么?以及工作原理和应用场景
  • 事件响应基本流程
  • Why SAP TM?
  • 《深入浅出 Servlet:Java Web 开发的基石》(一)
  • Adversarial Machine Learning(对抗机器学习)
  • 【国产NI替代】基于STM32+FPGA的8振动+4温度(16bits)数据采集板卡解决方案,支持全国产
  • [创业之路-207]:《华为战略管理法-DSTE实战体系》- 6-什么是目标管理、什么是过程管理、什么是闭环管理?
  • Docker 入门:如何使用 Docker 容器化 AI 项目(一)
  • 排序-冒泡排序
  • 深入探索Flink的复杂事件处理CEP
  • 2009年408真题解析-数据结构篇(未完)
  • 使用idea创建JDK8的SpringBoot项目
  • 面向对象 类函数的区别 实例方法 类方法 静态方法 抽象方法
  • ensp 基于端口安全的财务部网络组建
  • 【更新】LLM Interview