机器学习极简史
机器学习的发展还不到100年，在这几十年的时间里，不同的时间阶段产生了不同的流派，抢占一时风头。但随着基础物理技术的进步，部分流派也慢慢归于历史。但它们的思想，当时面临的问题，却给后续的机器学习人们，留下了宝贵的财富。
- 在20世纪50年代到70年代初，人工智能处于“推理期“，那时人们以为只要赋予机器逻辑推理能力，机器就能具有智能。
- 从20世纪70年代中期开始，人工智能研究进入“知识期“，在这一时期大量专家系统问世。
- 在20世纪50年代中后期，基于神经网络的“连接主义“（ connectionism）学习开始出现。
- 代表性的工作有”感知机“（perceptron）。
- 在20世纪六七十年代，基于逻辑表示的“符号主义“（symbolism）学习技术蓬勃发展。
- 在20世纪80年代，”从样例中学习“的一大主流是符号主义学习；
- 其代表包括决策树（decision tree）和基于逻辑的学习。
- 在20世纪90年代中期之前，”从样例中学习“的另一主流技术是基于神经网络的连接主义学习。连接主义学习产生是”黑箱“模型。
- 在20年的90年代中期，”统计学习“（ statistical learning）闪亮登场宾馆迅速占据主流舞台，代表性技术是支持向量机（support vector machine，简称SVM）以及更一般的”核方法“（kernel methods）。
- 在21世纪初，连接主义学习卷土重来，掀起了以”深度学习“为名的热潮。