机器学习概述,深度学习,人工智能,无监督学习,有监督学习,增量学习,预处理,回归问题,分类问题
一、人工智能课程概述
1.
什么是人工智能
人工智能（
Artificial Intelligence
）是计算机科学的一个分支学科，主要研究用计算机模拟人的思考方式
和行为方式，从而在某些领域代替人进行工作
.
2.
人工智能的学科体系
以下是人工智能学科体系图：
机器学习（
Machine Learning
）：人工智能的一个子学科，研究人工智能领域的基本算法、原理、
思想方法，机器学习研究的内容在其它子学科都会用到
计算机视觉（
Computer Vision
）：研究计算机处理、识别、理解图像、视频的相关技术
自然语言处理（
Natural Language Processing
）：研究计算机理解人类自然语言的相关技术
语言处理：研究计算机理解识别、理解、合成语音的相关技术
3.
人工智能与传统软件的区别
传统软件：执行人的指令和想法，在执行之前人已经有了解决方案，无法超越人的思想和认识范围
人工智能：尝试突破人的思想和认识范围，让计算机学习到新的能力，尝试解决传统软件的难题
二、机器学习基本概念
1.
什么是机器学习
1975
年图灵奖获得者、
1978
年诺贝尔经济学奖获得者、著名学者赫伯特
.
西蒙（
Herbert Simon
）曾下
过一个定义：如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是学习
.
由
此可看出，学习的目的就是改善性能
.
卡耐基梅隆大学机器学习和人工智能教授汤姆
.
米切尔（
Tom Mitchell
）在他的经典教材《机器学习》
中，给出了更为具体的定义：对于某类任务（
Task
，简称
T
）和某项性能评价准则（
Performance
，简
称
P
），如果一个计算机在程序
T
上，以
P
作为性能度量，随着经验（
Experience
，简称
E
）的积累，不断
自我完善，那么我们称计算机程序从经验
E
中进行了学习
.
例如，篮球运动员投篮训练过程：球员投篮（任务
T
），以准确率为性能度量（
P
），随着不断练习（经
验
E
），准确率不断提高，这个过程称为学习
.
2.
为什么需要机器学习
1
）程序自我升级；
2
）解决那些算法过于复杂，甚至没有已知算法的问题；
3
）在机器学习的过程中，协助人类获得事物的洞见
.
3.
机器学习的形式
1)
建模问题
所谓机器学习，在形式上可近似等同于在数据对象中通过统计、推理的方法，来寻找一个接受特定输入
X
，并给出预期输出
Y
功能函数
f
，即
.
这个函数以及确定函数的参数被称为模型
.
2)
评估问题
针对已知的输入，函数给出的输出（预测值）与实际输出（目标值）之间存在一定误差，因此需要构建
一个评估体系，根据误差大小判定函数的优劣
.
3)
优化问题
学习的核心在与改善性能，通过数据对算法的反复锤炼，不断提升函数预测的准确性，直至获得能够满
足实际需求的最优解，这个过程就是机器学习
.
4.
机器学习的分类（重点）
1)
有监督、无监督、半监督学习
a)
有监督学习
在已知数据输出（经过标注的）的情况下对模型进行训练，根据输出进行调整、优化的学习方式称为有
监督学习
.
b)
无监督学习
没有已知输出的情况下，仅仅根据输入信息的相关性，进行类别的划分
.
c)
半监督
先通过无监督学习划分类别，再人工标记通过有监督学习方式来预测输出
.
例如先对相似的水果进行聚
类，再识别是哪个类别
.
d)
强化学习
通过对不同决策结果的奖励、惩罚，使机器学习系统在经过足够长时间的训练以后，越来越倾向于接近
期望结果的输出
.
输入（
x
）
输出（
y
）
1
2
2
4
3
6
4
8
学历
(x1)
工作经验
(x2)
性别
(x3)
月薪
(y)
本科
3
男
8000
硕士
2
女
10000
博士
2
男
15000
2)
批量学习、增量学习
a)
批量学习
将学习过程和应用过程分开，用全部训练数据训练模型，然后再在应用场景中进行预测，当预测结果不
够理想时，重新回到学习过程，如此循环
.
b)
增量学习
将学习过程和应用过程统一起来，在应用的同时，以增量的方式不断学习新的内容，边训练、边预测
.
3)
基于模型学习、基于实例学习
a)
基于模型的学习
根据样本数据，建立用于联系输出和输出的某种数学模型，将待预测输入带入该模型，预测其结果
.
例如
有如下输入输出关系：
根据数据，得到模型
预测：输入
9
时，输出是多少？
b)
基于实例的学习
根据以往经验，寻找与待预测输入最接近的样本，以其输出作为预测结果（从数据中心找答案）
.
例如有
如下一组数据：
预测：本科，
3
，男
==>
薪资？
5.
机器学习的一般过程
(
重点
)
1)
数据收集，手段如手工采集、设备自动化采集、爬虫等
2)
数据清洗：数据规范、具有较大误差的、没有意义的数据进行清理
注：以上称之为数据处理，包括数据检索、数据挖掘、爬虫
......
3)
选择模型（算法）
4)
训练模型
5)
模型评估
6)
测试模型
注：
3~6
步主要是机器学习过程，包括算法、框架、工具等
......
7)
应用模型
8)
模型维护
6.
机器学习的典型应用
1)
股价预测
2)
推荐引擎
3)
自然语言处理
4)
语音处理：语音识别、语音合成
5)
图像识别、人脸识别
6) ……
7.
机器学习的基本问题
(
重点
)
1)
回归问题
根据已知的输入和输出，寻找某种性能最佳的模型，将未知输出的输入代入模型，得到
连续的输出
.
例
如：
根据房屋面积、地段、修建年代以及其它条件预测房屋价格
根据各种外部条件预测某支股票的价格
根据农业、气象等数据预测粮食收成
计算两个人脸的相似度
2)
分类问题
根据已知的输入和输出，寻找性能最佳的模型，将未知输出的输入带入模型，得到
离散的输出
，例如：
手写体识别（
10
个类别分类问题）
水果、鲜花、动物识别
工业产品瑕疵检测（良品、次品二分类问题）
识别一个句子表达的情绪（正面、负面、中性）
3)
聚类问题
根据已知输入的相似程度，将其划分为不同的群落，例如：
根据一批麦粒的数据，判断哪些属于同一个品种
根据客户在电商网站的浏览和购买历史，判断哪些客户对某件商品感兴趣
判断哪些客户具有更高的相似度
4)
降维问题
在性能损失尽可能小的情况下，降低数据的复杂度，数据规模缩小都称为降维问题
.
8.
课程内容
年龄
学历
经验
性别
月薪
25
硕士
2
女
10000
20
本科
3
男
8000
...
...
...
...
...
三、数据预处理
数据预处理的过程： 输入数据
->
模型
->
输出数据
数据样本矩阵
一行一样本，一列一特征。
1.
数据预处理的目的
1
）去除无效数据、不规范数据、错误数据
2
）补齐缺失值
3
）对数据范围、量纲、格式、类型进行统一化处理，更容易进行后续计算
2.
预处理方法
1
）标准化（均值移除）
由于一个样本的不同特征值差异较大，不利于使用现有机器学习算法进行样本处理。
均值移除
可以让样
本矩阵中的每一列的平均值为
0
，标准差为
1
。
如何使样本矩阵中的每一列的平均值为
0
呢？
预处理后的平均值为
0
：
如何使样本矩阵中的每一列的标准差为
1
呢？
预处理后的标准差：
标准差：又称均方差，是离均差平方的算术平均数的平方根，用
σ
表示 ，标准差能反映一个数据集的离
散程度
代码示例：
#
数据预处理之：均值移除示例
import
numpy
as
np
#
样本数据
raw_samples
=
np
.
array
([
[
3.0
,
-
1.0
,
2.0
],
[
0.0
,
4.0
,
3.0
],
[
1.0
,
-
4.0
,
2.0
]
])
print
(
raw_samples
)
print
(
raw_samples
.
mean
(
axis
=
0
))
#
求每列的平均值
print
(
raw_samples
.
std
(
axis
=
0
))
#
求每列标准差
std_samples
=
raw_samples
.
copy
()
#
复制样本数据
for
col
in
std_samples
.
T
:
#
遍历每列
col_mean
=
col
.
mean
()
#
计算平均数
col_std
=
col
.
std
()
#
求标准差
col
-=
col_mean
#
减平均值
col
/=
col_std
#
除标准差
print
(
std_samples
)
print
(
std_samples
.
mean
(
axis
=
0
))
print
(
std_samples
.
std
(
axis
=
0
))
我们也可以通过
sklearn
提供
sp.scale
函数实现同样的功能，如下面代码所示：
2
）范围缩放
将样本矩阵中的每一列最小值和最大值设定为相同的区间，统一各特征值的范围
.
一般情况下会把特征值
缩放至
[0, 1]
区间。
如何使一组特征值的最小值为
0
呢？
如有
a, b, c
三个数，其中
b
为最小值，
c
为最大值，则：
如何使一组特征值的最大值为
1
呢？
缩放计算方式如下公式所示：
计算完成后，最小值为
0
，最大值为
1.
以下是一个范围缩放的示例
.
import
sklearn
.
preprocessing
as
sp
#
均值移除
API
std_samples
=
sp
.
scale
(
raw_samples
)
# scale
函数用于对函数进行预处理，实现均值移除
,
返回结
果。
print
(
std_samples
)
print
(
std_samples
.
mean
(
axis
=
0
))
print
(
std_samples
.
std
(
axis
=
0
))
例如有一列特征值表示年龄：
[
17
,
20
,
23
]
每个元素减去特征值数组所有元素的最小值即可：
[
0
,
3
,
6
]
[
0
,
3
,
6
]
把特征值数组的每个元素除以最大值即可：
[
0
,
1
/
2
,
1
]
#
数据预处理之：范围缩放
import
numpy
as
np
#
样本数据
raw_samples
=
np
.
array
([
[
1.0
,
2.0
,
3.0
],
[
4.0
,
5.0
,
6.0
],
[
7.0
,
8.0
,
9.0
]]).
astype
(
"float64"
)
# print(raw_samples)
mms_samples
=
raw_samples
.
copy
()
#
复制样本数据
for
col
in
mms_samples
.
T
:
col_min
=
col
.
min
()
年份
Python
（万人）
Java
（万人）
PHP
（万人）
2017
10
20
5
2018
8
10
1
我们也可以通过
sklearn
提供的对象实现同样的功能，如下面代码所示：
执行结果：
3
）归一化
有些情况每个样本的每个特征值具体的值并不重要，但是每个样本特征值的占比更加重要。反映样本所
占比率
.
用每个样本的每个特征值，除以该样本各个特征值绝对值之和。变换后的样本矩阵，每个样本的
特征值绝对值之和为
1.
例如如下反映编程语言热度的样本中，
2018
年也
2017
年比较，
Python
开发人员数量减少了
2
万，但是所
占比率确上升了：
归一化预处理示例代码如下所示：
col_max
=
col
.
max
()
col
-=
col_min
col
/= (
col_max
-
col_min
)
print
(
mms_samples
)
import
sklearn
.
preprocessing
as
sp
#
根据给定范围创建一个范围缩放器对象
mms
=
sp
.
MinMaxScaler
(
feature_range
=(
0
,
1
))
#
定义对象
(
修改范围观察现象
)
#
使用范围缩放器实现特征值范围缩放
mms_samples
=
mms
.
fit_transform
(
raw_samples
)
#
缩放
print
(
mms_samples
)
[[0. 0. 0. ]
[0.5 0.5 0.5]
[1. 1. 1. ]]
[[0. 0. 0. ]
[0.5 0.5 0.5]
[1. 1. 1. ]]
#
数据预处理之：归一化
import
numpy
as
np
#
样本数据
raw_samples
=
np
.
array
([
[
10.0
,
20.0
,
5.0
],
[
8.0
,
10.0
,
1.0
]
])
print
(
raw_samples
)
nor_samples
=
raw_samples
.
copy
()
#
复制样本数据
for
row
in
nor_samples
:
row
/=
abs
(
row
).
sum
()
#
先对行求绝对值，再求和，再除以绝对值之和
在
sklearn
库中，可以调用
sp.normalize()
函数进行归一化处理，函数原型为：
使用
sklearn
库中归一化处理代码如下所指示：
4
）二值化
有些业务并不需要分析矩阵的详细完整数据（比如图像边缘识别只需要分析出图像边缘即可），可以根
据一个事先给定的阈值，用
0
和
1
表示特征值不高于或高于阈值。二值化后的数组中每个元素非
0
即
1
，达
到简化数学模型的目的。
以下是实现二值化预处理的代码：
同样，也可以利用
sklearn
库来处理：
二值化编码会导致信息损失，是不可逆的数值转换
.
如果进行可逆转换，则需要用到独热编码
.
print
(
nor_samples
)
#
打印结果
import
sklearn
.
preprocessing
as
sp
sp
.
normalize
(
原始样本
,
norm
=
'l2'
)
# l1: l1
范数，除以向量中各元素绝对值之和
# l2: l2
范数，除以向量中各元素平方之和
nor_samples
=
sp
.
normalize
(
raw_samples
,
norm
=
'l1'
)
print
(
nor_samples
)
#
打印结果
#
二值化
import
numpy
as
np
raw_samples
=
np
.
array
([[
65.5
,
89.0
,
73.0
],
[
55.0
,
99.0
,
98.5
],
[
45.0
,
22.5
,
60.0
]])
bin_samples
=
raw_samples
.
copy
()
#
复制数组
#
生成掩码数组
mask1
=
bin_samples
<
60
mask2
=
bin_samples
>
=
60
#
通过掩码进行二值化处理
bin_samples
[
mask1
] =
0
bin_samples
[
mask2
] =
1
print
(
bin_samples
)
#
打印结果
import
sklearn
.
preprocessing
as
sp
bin
=
sp
.
Binarizer
(
threshold
=
59
)
#
创建二值化对象
(
注意边界值
)
bin_samples
=
bin
.
transform
(
raw_samples
)
#
二值化预处理
print
(
bin_samples
)
5
）独热编码
根据一个特征中值的个数来建立一个由一个
1
和若干个
0
组成的序列，用来序列对所有的特征值进行编码
.
例如有如下样本：
对于第一列，有两个值，
1
使用
10
编码，
7
使用
01
编码
对于第二列，有三个值，
3
使用
100
编码，
5
使用
010
编码，
8
使用
001
编码
对于第三列，有四个值，
2
使用
1000
编码，
4
使用
0100
编码，
6
使用
0010
编码，
9
使用
0001
编码
编码字段，根据特征值的个数来进行编码，通过位置加以区分
.
通过独热编码后的结果为：
使用
sklearn
库提供的功能进行独热编码的代码如下所示：
执行结果：
#
独热编码示例
import
numpy
as
np
import
sklearn
.
preprocessing
as
sp
raw_samples
=
np
.
array
([[
1
,
3
,
2
],
[
7
,
5
,
4
],
[
1
,
8
,
6
],
[
7
,
3
,
9
]])
one_hot_encoder
=
sp
.
OneHotEncoder
(
sparse
=
False
,
#
是否采用稀疏格式；在矩阵中，若数值为
0
的元素数目远远多于非
0
元素的数目，并
且非
0
元素分布没有规律时，则称该矩阵为稀疏矩阵，只展示非
0
的，剩下没有说明的数都是
0
，反之是稠密矩
阵，数组形式展示所有数值。（在内存中占用更多空间但可加快运算）。二者在数据处理上速度上相差很大，
我们将这个技巧称为
“one-hot”
编码
dtype
=
"int32"
,
#
数据类型
categories
=
"auto"
)
#
自动编码
oh_samples
=
one_hot_encoder
.
fit_transform
(
raw_samples
)
#
执行独热编码（一位有效编
码）
print
(
oh_samples
)
#
方法
2
#
对原始样本矩阵进行训练，得到编码字典
encode_dict
=
one_hot_encoder
.
fit
(
原始样本矩阵
)
#
调用
encode_dict
字典的
transform
方法 对数据样本矩阵进行独热编码
result
=
encode_dict
.
transform
(
原始样本矩阵
)
print
(
result
)
#
执行独热编码后的矩阵
print
(
one_hot_encoder
.
inverse_transform
(
result
))
#
解码
6
）标签编码
根据字符串形式的特征值在特征序列中的位置，来为其指定一个数字标签，用于提供给基于数值算法的
学习模型
.
代码如下所示：
执行结果：