浙江大学机器学习课程Part1——课程概论

[TOC]

推荐书籍&课程

  1. 机器学习， 周志华，清华大学出版社，2016
  2. 统计学习方法，李航，清华大学出版社，2012
  3. Machine Learning in Action, P. Harrington,人民邮电出版社
  4. Pattern Recognition and Machine Learning (模式识别与机器学习)，Christopher M. Bishop, 2006
  5. Machine Learning: A Probabilistic Perspective, K. P. Murphy,
  6. Machine Learning (机器学习), Tom M. Mitchell, 机械工业出版社，2003年
  7. Deep Learning, I. Goodfellow, Y. Bengio and A. Courville, 2016
  8. Stanfrod Web course by Andrew Ng
  9. Stanfrod Web course by Fei-fei Li

机器学习算法分类

  1. Supervised learning 监督式学习 – SVM, NEURAL NETWORKS
  2. Unsupervised learning 无监督式学习 – CLUSTERING, EM ALGORITHM, PCA
  3. Semi-Supervised Learning 半监督式学习
  4. Reinforcement learning 增强学习

以预测标签为导向的分类：监督式学习、无监督式学习、半监督式学习。

不注重过程而关心结果的分类：增强学习。例如：智能驾驶（在不违反交通规则的情况下最快到达目的地）、下棋对战AI（为了最终的输赢有很多种不同的下法）

Supervised learning: The machine learning task of inferring a function from labeled training data. Supervised learning can be further divided into

  1. classification 分类（二分类/多分类） - 离散值标签
  2. regression 回归（单响应/多响应） - 连续值标签

两者没有明确界限，以至于有些分类算法也能做回归算法。

机器学习两大难点

  1. 维度
  2. 标准

没有免费午餐定理(No Free Lunch Theorem)

任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，表现好与表现不好的情况一样多。

如果我们不对特征空间有先验假设，则所有算法的平均表现是一样的。

我们认为：特征差距小的样本更有可能是同一类。但是，在没有任何先前给定特征意义的情况下，我们都不能确定预测的下一个是什么。

在这个领域没有最好的算法，但是有公认的好方法。