5.1

5.2

5.3 5.4

5.5

机器学习基础 84 学习算法……………………………. 84

  1. 5.1.1 任务，T………………………… 85
  2. 5.1.2 性能度量，P ……………………… 88
  3. 5.1.3 经验，E………………………… 89
  4. 5.1.4 实例:线性回归 ……………………. 91

容量，过拟合和欠拟合 …………………….. 93

  1. 5.2.1 没有免费午餐定理 …………………… 98
  2. 5.2.2 正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

超参数和验证集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 5.3.1 交叉验证 ………………………..103

估计，偏差和方差….

  1. 5.4.1 点估计……
  2. 5.4.2 偏差…….
  3. 5.4.3 方差和标准误差
  4. 5.4.4 权衡偏值和方差以最小化均方误差 ……………109
  5. 5.4.5 一致性………………………….111

…………………….103 …………………….103 …………………….104 …………………….108

最大似然估计 ………………………….111

  1. 5.5.1 条件对数似然和均方误差 ………………..113
  2. 5.5.2 最大似然的性质 . . . . . . . . . . . . . . . . . . . . . . . . . 114

贝叶斯统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5.6.1 最大后验(MAP)估计 …………………117 监督学习算法 ………………………….118

  1. 5.7.1 概率监督学习………………………118
  2. 5.7.2 支持向量机……………………….119
  3. 5.7.3 其他简单的监督学习算法 ………………..121

无监督学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

  1. 5.8.1 主成分分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
  2. 5.8.2 k-均值聚类 ……………………….127

随机梯度下降 ………………………….128 5.10 构建机器学习算法………………………..129 5.11 推动深度学习的挑战 ………………………130 5.11.1 维数灾难 ………………………..1315.11.2 局部不变性和平滑正则化 ………………..131 5.11.3 流形学习 ………………………..134