【深度学习基础与pytorch基础】1机器学习的定义与分类以及机器学习、深度学习和人工智能之间的关系

一、机器学习的定义

1.定义

1.1 学术定义

机器学习（Machine Learning）是一门让计算机能够通过数据学习规律，从而在未明确编程的情况下自动改进其性能的技术。

• 来源：Arthur Samuel在1959年首次定义：“机器学习是使计算机具有学习能力的研究领域，而不需要明确的编程指令。”
• 现代定义（Tom Mitchell, 1997）：如果一个程序在T上表现P随经验E的增加而提高(模型随着学习的东西E变得越来越多，而使得模型输出的结果越来越准确)，那么我们说这个程序对任务T进行了机器学习。

1.2 公式表达：

P(T)=f(E)

• 任务 T：需要完成的目标，如分类、回归。
• 经验 E：从数据中获取的经验（训练数据）。
• 性能 P：模型在任务上的表现，通常用指标（如准确率、误差）来衡量。

2. 大白话的理解

机器学习就是教计算机从数据中自学，而不是我们明确地告诉它该怎么做。即通过算法从数据中自动学习规律，并在未见过的数据上做出预测的技术。

• 你只需要告诉计算机“问题是什么”和“参考答案”（数据和标签），计算机会自己总结规律。
• 它就像一个学生，通过大量练习题（数据）学会应对考试（预测新数据）。

举个例子：

• 传统编程：如果你想识别一只猫，需要给计算机写清楚“猫的特征”（如有尖耳朵、有胡须）。
• 机器学习：你给计算机成千上万张图片，并告诉它哪些是猫，哪些不是猫。计算机会通过这些图片“自己学习”猫的特征。

3.机器学习的核心特点

1. 数据驱动：

   • 模型从数据中提取模式（就是模型会自己根据不同的特征提取出不同特征之间的相互影响关系，如相关性等，从而根据这个模式规律算出我们需要求的数据），而不是基于人工设计的规则。
   • 数据越多，模型的学习能力越强（通常情况下）。（但是数据成本越多所需要花费在数据上的成本会更高）

2. 自主学习：

   • 计算机不需要显式指令，而是通过数据和算法自动优化。

3. 泛化能力：

   • 模型不仅能在训练数据上表现良好，还能对未见过的数据做出准确预测。

4.机器学习的目标

1. 预测：根据输入数据，预测未知结果。
   • 示例：房价预测、天气预报。
2. 分类：将数据分为不同类别。
   • 示例：垃圾邮件识别、图像分类。
3. 聚类：发现数据中的潜在分组或模式。
   • 示例：客户分群、推荐系统。
4. 降维：简化高维数据以便可视化或加速计算。
   • 示例：主成分分析（PCA）。

5.机器学习的通用过程

1. 定义问题：明确任务目标和数据来源。
2. 收集数据：获取与问题相关的数据。
3. 数据处理：清洗数据、处理缺失值、特征提取。
4. 选择算法：选择合适的学习算法（如线性回归、支持向量机）。
5. 训练模型：使用训练数据优化模型参数。
6. 评估模型：在测试数据上评估性能。
7. 部署模型：将模型应用到实际任务中。
8. 详细可以参考这篇笔记

二、机器学习的分类

1. 按学习方式分类

1.1 监督学习（Supervised Learning）

• 定义：模型在训练时使用带有特征（输入）和标签（输出）的数据，通过学习两者之间的映射关系，优化模型参数，使其能够对未知数据做出准确预测。
• 任务目标：预测标签值。
• 典型任务：
  1. 分类任务：将数据划分为离散的类别。
     • 示例：垃圾邮件分类、图像分类（如“猫”和“狗”）。
  2. 回归任务：预测连续数值。
     • 示例：房价预测、股票价格预测。
• 常用算法：
  • 线性回归、逻辑回归
  • 支持向量机（SVM）
  • 决策树、随机森林
  • 梯度提升（GBDT, XGBoost）

1.2 无监督学习（Unsupervised Learning）

• 定义：模型在训练时使用没有标签的数据，学习数据的内部结构或模式。
• 任务目标：发现数据的分布、分组或降维。
• 典型任务：
  1. 聚类任务：将相似的数据分组。
     • 示例：客户分群（根据消费行为分组）。
  2. 降维任务：降低数据维度，简化特征。
     • 示例：PCA（主成分分析）、t-SNE用于数据可视化。
• 常用算法：
  • K均值聚类（K-Means）
  • 层次聚类
  • 主成分分析（PCA）
  • 高斯混合模型（GMM）

1.3 半监督学习（Semi-Supervised Learning）

• 定义：部分数据有标签，部分数据无标签，模型通过结合有标签和无标签数据进行学习。
• 任务目标：在标签不足的情况下提高模型性能。
• 典型应用：
  • 医学图像分析：标注数据有限，但未标注数据丰富。
  • 自然语言处理：语料库标注成本高。
• 常用算法：
  • 基于图的方法（Graph-Based Methods）
  • 生成式模型（如GANs、变分自编码器）

1.4 强化学习（Reinforcement Learning）

• 定义：模型通过与环境交互学习策略，根据反馈（奖励或惩罚）调整行为，最终实现目标。
• 任务目标：找到最优策略以最大化累积奖励。
• 典型应用：
  • 游戏AI：AlphaGo、自动驾驶。
  • 机器人控制：机械臂操作。
• 常用算法：
  • Q学习
  • 深度Q网络（DQN）
  • 策略梯度（Policy Gradient）

1.5三种学习方式的优缺点：

2. 按任务类型分类

2.1 分类任务（Classification）

• 定义：将数据分到预定义的类别中。
• 目标：预测数据属于哪个类别。
• 应用：
  • 图像识别（猫和狗分类）。
  • 垃圾邮件检测。
  • 医学诊断（如癌症类型分类）。

2.2 回归任务（Regression）

• 定义：预测连续的数值输出。
• 目标：学习特征与连续变量之间的关系。
• 应用：
  • 房价预测。
  • 温度预测。

2.3 聚类任务（Clustering）

• 定义：将相似的数据分组，无需预定义类别。
• 目标：发现数据的自然分布。
• 应用：
  • 客户分群。
  • 图像去重。

2.4 降维任务（Dimensionality Reduction）

• 定义：减少特征数量，保留数据的主要信息。
• 目标：简化数据以便于可视化或加速计算。
• 应用：
  • 图像压缩。
  • 数据可视化。

2.5 异常检测（Anomaly Detection）

• 定义：识别不符合正常模式的数据。
• 目标：检测异常事件。
• 应用：
  • 信用卡欺诈检测。
  • 工业设备故障检测。

2.6 推荐系统（Recommendation System）

• 定义：根据用户历史行为或偏好，推荐可能感兴趣的内容。
• 目标：提高用户满意度。
• 应用：
  • 电商推荐商品。
  • 流媒体推荐电影。

3. 按数据输入形式分类

3.1 在线学习（Online Learning）

• 定义：模型随着新数据的到来不断更新，而不是一次性训练。
• 应用：
  • 股票交易预测。
  • 实时用户行为分析。

3.2 批量学习（Batch Learning）

• 定义：模型在整个数据集上进行训练，训练后不会动态更新。
• 应用：
  • 静态任务，如房价预测。

4. 按模型训练方式分类

4.1 基于生成模型（Generative Models）

• 定义：学习数据的生成过程，建模数据的分布。
• 应用：
  • 数据生成、图像生成。
• 常用模型：
  • GAN（生成对抗网络）
  • VAE（变分自编码器）

4.2 基于判别模型（Discriminative Models）

• 定义：直接建模输入与输出的关系。
• 应用：
  • 分类、回归。
• 常用模型：
  • 支持向量机
  • 神经网络

5. 总结

三、深度学习与机器学习与人工智能的区别

1. 人工智能（Artificial Intelligence, AI）

• 定义：人工智能是一门让计算机模拟人类智能的技术领域。它包括了各种让机器感知、推理、学习和决策的技术。
• 范围：人工智能是最广义的概念，涵盖了所有让机器变得“智能”的技术，包括传统算法和基于数据的学习方法。
• 应用：
  • 早期AI：专家系统、决策树等。
  • 现代AI：语音识别、图像识别、自动驾驶等。

2. 深度学习（Deep Learning, DL）

• 定义：深度学习是机器学习的一个子领域，使用人工神经网络（尤其是多层神经网络）来模拟人脑的学习方式。
• 范围：深度学习是机器学习的一部分，专注于通过复杂的网络结构（如CNN、RNN）自动提取特征。
• 特点：
  • 对数据的依赖更大。
  • 能处理高维复杂数据（如图像、文本、音频）。
  • 自动提取特征，无需手工设计。
• 关系：深度学习是机器学习的一个方法，进一步增强了机器学习的能力。
• 示例：
  • 用卷积神经网络（CNN）进行图像分类。
  • 用循环神经网络（RNN）进行时间序列预测。

3. 机器学习、深度学习和人工智能的关系

人工智能 > 机器学习 > 深度学习