【人工智能基础2】机器学习、深度学习总结

一、人工智能关键技术

知识图谱应用场景广泛，可用于语义搜索、智能问答、个性化推荐等。

1. 语义搜索
   语义搜索首先将用户输入的问句进行解析，找出问句中的实体和关系，理解用户问句的含义，然后再知识图谱中匹配查询语句，找出答案，最后通过一定形式将结果呈现到用户面前。

2. 智能问答
   智能问答，属于一问一答，只要一个答案，也就是将最相关的那个答案反馈给用户，如果像聊天一样不断地进行问答，问答不仅仅是在知识库中搜索，还要考虑前面的聊天内容，考虑的实体和关系更复杂，效果不如语义搜索。

3. 个性化推荐或精准营销
   个性化推荐系统通过收集用户的兴趣爱好、属性，产品的分类、属性、内容等，分析用户之间的社会关系，用户和产品的关联关系，利用个性化算法，推断出用户的喜好和需求，从而为用户推荐感兴趣的产品或内容。

二、机器学习基础

1. 监督、无监督、半监督学习

• 监督学习：分为回归（函数拟合，捕捉输入到输出的函数映射关系）和分类（如决策树、逻辑回归、支持向量机）问题。
• 无监督学习：训练数据无标签，旨在找出数据结构和模式，如聚类算法。k-means算法将样本划分为k个簇，简单高效但对初始簇中心敏感、需事先指定k值等；谱聚类基于图论，能处理非球形簇和高维数据，步骤包括构建相似度矩阵、计算拉普拉斯矩阵等，应用于图像分割、社交网络分析等领域。

2. 损失函数：四种损失函数

损失函数：表示预测与真实答案的距离。
用于回归：平方和绝对损失函数
用于分类：0-1、交叉熵损失函数

交叉熵损失函数在神经网络分类问题中常用，主要有以下原因：

• 与分类任务目标契合：函数衡量真实分布与预测分布的差异，输出概率分布与真实类别分布越接近，损失越小，很好地适配分类任务中让模型预测类别概率的目标。
• 计算效率高：计算过程相对不复杂，在大规模数据和复杂网络训练中，能有效降低计算成本，提高训练效率。
• 梯度特性好：能为神经网络的反向传播提供清晰且有效的梯度信息，有助于模型快速收敛，避免训练过程中出现梯度消失或爆炸等问题，使模型训练更稳定、高效。

3. 泛化与交叉验证

• 泛化指模型对新数据的预测能力，一个良好的泛化能力的模型能够捕捉到数据的潜在规律；
• 交叉验证是评估并提高模型预测性能的统计方法，通过分割数据减少偏差，常用K折交叉验证，将数据集分成K个子集，轮流作为验证集，其余为训练集，最终取结果平均值评估模型性能。

4. 过拟合与欠拟合

• 欠拟合：模型在训练集和测试集上表现都差，解决办法包括增加特征数量、模型复杂度，减少正则化参数，增加训练数据，改进特征工程，使用更复杂算法或集成学习。
• 过拟合：模型在训练集表现好但测试集表现差，解决办法有权值衰减、提前停止训练、正则化、减少模型参数、Dropout、数据增强、决策树剪枝、交叉验证等 。

5. 正则化

“正则”（Regularization）是一种用于控制模型复杂度，为了保证泛化性能，防止过拟合的技术手段。正则化通过在模型的目标函数（如损失函数）中添加一个惩罚项来实现对模型复杂度的约束。
这个惩罚项一般是模型复杂度的单调递增函数：模型越复杂，正则化越大。

正则化的类型（L1(套索)、L2（岭））

L1是通过稀疏参数（减少参数的数量）来降低复杂度，L2是通过减小参数值的大小来降低复杂度。

6. 支持向量机

• SVM 概念：监督式学习的分类算法，目标是在特征空间中找最优超平面，使不同类别数据点尽可能分开，且超平面是让两类数据点到它的距离最大化的平面。
• 支持向量：在支持向量机（SVM）里，当解决二分类问题时，会去寻找一个能把两类数据分开的超平面。超平面要使两类数据点到它的距离最大化，叫做最大间隔超平面。 二分类问题可用线性函数作分类器；训练后的模型只与支持向量相关，删除非支持向量样本点不影响模型。
• 核技巧： 当数据不完美可分时，通过核函数将原始数据隐式映射到高维特征空间，使原始空间线性不可分的数据在高维空间可能线性可分，且避免高维空间的复杂计算。

三、深度学习基础

1、概念与原理

深度学习又称深度神经网络，模拟人类神经大脑系统神经元协同工作原理。通过构造多层神经网络，将底层特征逐步转换为高层特征表示，实现复杂分类等任务。
典型的深度学习模型有卷积神经网络、循环神经网路、长短时记忆神经网络、深度置信网络。

传统机器学习需手工编码特征，耗时且依赖专业知识。深度学习则直接从数据自动学习特征，采用端到端方式解决复杂问题。其模型结构深度大，隐藏层多，通过逐层特征变换，更能挖掘数据内在信息。

• 语音识别：深度学习模型可直接从语音数据中学习到语音的特征，进而识别出语音内容。
• 图像分类

2、学习方式

• 监督学习：将训练样本输入神经网络，对比期望答案与实际输出的误差信号，以此调整权值优化模型。训练数据集中样本带有标签，如Iris数据集标注了花卉样本所属品种，算法借此学习如何依据测量结果分类样本。

• 无监督学习：无需数据标签，模型自动根据数据特征学习。比如在图像聚类中，可将相似特征的图像聚为一类，像把不同风景图片按自然风光、城市景观等类别聚类。

• 半监督学习：介于两者之间，无需明确数据标签，但需对神经网络输出评价以调整参数，利用未标记样本和标记样本估计条件概率。如在文本情感分析中，少量已标注情感倾向的文本和大量未标注文本可共同用于训练模型。

3、多层神经网络训练方法

训练方法：2006年Geoffrey Hinten提出有效训练多层神经网络的方法。
第一步，自下（输入层）而上进行非监督学习，逐层训练，上一层的输出作为下一层的输入。

逐层构建单层神经元，分层训练各层函数，学习各层参数。例如先训练第一层，再以其输出作为下一层输入继续训练。

第二步，自上（最后一层）而下进行监督学习：底层与标签对比，计算误差调整参数，接着将误差反向传播到下一层，逐层调整。

• 在完成了第一步逐层构建单层神经元并学习到各层参数后，此时已经得到了一个初步的多层神经网络模型。接下来，使用有标签的数据，将顶层的输出与实际标签进行对比，计算出误差，然后根据这个误差来调整顶层的参数，使得顶层的输出更接近实际标签。
• 调整完顶层后，再将误差反向传播到下一层，以此类推，从顶层开始依次向下调整各层的参数，让整个神经网络的输出结果能够更好地符合预期，从而提高模型的准确性和泛化能力。这种从顶层开始逐步向下调整参数的方式就被称为 “自顶而下”。