Machine Learning - Andrew Ng on Coursera (Week 6)
接下将整理并发布学习Coursera上Andrew Ng的Machine Learning课程系列学习笔记，旨在与更多的机器学习爱好者一起分享学习心得，共同进步。本篇第六周的课程，主要内容是如何评价机器学习的算法并防止过拟合或者欠拟合。
评价机器学习算法
讨论在建立了模型假设，收集了相关数据以后接下来应该怎么做。初步学习的算法往往不准确的，所以需要对学习算法进行调试和评估，以进行进一步的优化。
假设实现了一个正则化的线性回归算法来预测房价，使以下代价函数最小：
$$J(\theta)=\frac{1}{2m}[\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{m}\theta_j^2]$$
然而，测试一批新的房屋数据时，发现预测出来的数据是很不准确的。那么，下一步你该怎么做？以下是一些备择选项，先把对应的情况也总结在这里，但最好在看完后面详细的解释的部分再回头来看看是否一一对应：
- 获取更多的训练样本 - 解决高方差
- 尝试使用更少的特征的集合 - 解决高方差
- 尝试获得其他特征 - 解决高偏差
- 尝试添加多项组合特征 - 解决高偏差
- 尝试减小$\lambda$ - 解决高偏差
- 尝试增加$\lambda$ -解决高方差获取更多的训练样本
机器学习（算法）诊断(Diagnostic)是一种测试方法，能对当前学习算法进行深入的认识，知道算法是过拟合还是欠拟合，处于训练的什么阶段，并且能指导接下来如何做能最大限度的提高学习算法的性能。诊断测试虽然需要一些时间来实现，但是这样做可以使得机器学习算法实现更有效率。
在房价预测问题中，如果假设如下：
$$h_\theta(x)=\theta_0+\theta_1x+\theta_2x^2+\theta_3x^3+\theta_4x^4$$
值得注意的是高阶项一般可以对训练数据做到非常好的拟合，但是对不在训练集的新数据的预测却很差，失去通用性。那我们应该如何评价这个假设？一个比较通用的做法是将数据集进行拆分，一部分（例如70%或者80%）作为训练集，另一部分（例如30%或者20%）作为测试集。对于模型假设，此时可以分为两步：
- 通过最小化训练集的$J(\theta)$来学习参数$\theta$;
- 再计算测试集的错误率，尽量减小测试集的$J_{test}(\theta)$
一旦参数$\theta$对于某些数据集（训练集）适应（最终学习的参数），那么基于该数据及参数所计算的模型的训练误差$J(\theta)$很可能比实际泛化的$J_{test}(\theta)$要小。接下来面临的是模型选择（Model Selection）的问题，首先来看一个选择多项式回归模型的例子，假设有1-10次方的多项式回归模型，应该选择其中的哪一个模型？
假设基于训练集学习得到的参数，然后选择测试集误差最小的5次方的多项式回归模型。那么这个模型的泛化能力如何？测试集的$J_{test}(\theta^{(5)})$基本能代表它的泛化能力，但是这是否准确？答案是不完全准确，同样会出现在训练集和测试集的误差都很小，但新数据的错误率仍然很高。因此，这里再引入第三个集合：交叉验证集，简明介绍可参考此处。一种比较典型的划分方式是60%的训练集，20%的交叉验证集以及20%的测试集。在实际使用时，我们通过训练集学习到参数, 再计算交叉验证集上的error, 再选择一个在验证集上误差最小的模型，最后再在测试集上估计模型的泛化误差(generalized error)。
Diagnosing bias vs. variance(诊断偏差和方差，模型多项式维度$d$ - $J(\theta)$图)
通过观察欠拟合和过拟合的例子可以发现：
- 当多项式回归模型的次数$d=1$，也就是高偏差(欠拟合)时，训练集误差和验证集误差都比较大；
- 当$d=4$，也就是高方差(过拟合)时，训练集误差会很小（拟合的非常好），但是验证集误差却很大；
- 当$d=2$，也就是拟合的刚刚好时，无论训练集误差还是验证集误差都刚刚好，介于上面两者之间。
如果用图形表示，就是下面这个样子：
有了上面的解释，我们就可以来诊断偏差还是方差的问题了。假设你的学习算法表现的不尽如人意，没有达到你的期望，如何来判定它是一个偏差的问题还是方差的问题？我们可以计算他们的训练集误差和交叉验证集误差，如果它们落入了上图的“头部”区域，可以判断是偏差（欠拟合）问题，如果落入了“尾部”区域，可以判断是方差（过拟合）问题。对于偏差还是方差的问题，可以做一个总结如下：
- 欠拟合时，$J_{train}(\theta)$很大，$J_{cv}(\theta)\approx J_{train}(\theta)$
- 过拟合时，$J_{train}(\theta)$很小，$J_{cv}(\theta)\gg J_{train}(\theta)$
Regularization and bias/variance(正则化和偏差/方差，$\lambda$ - $J(\theta)$图)
对于过拟合问题，正则化是一个非常有效的解决方案。如果正则化参数$\lambda$过大，则除了$\lambda_0$，其他参数都将近似为0，而形成了欠拟合或高偏差的情况。如果λ过小，例如$\lambda=0$，则等同于没有对线性回归模型进行正则化，而很容易出现过拟合高方差的问题。因此只有在$\lambda$选取适中的情况下，才能得到合适的拟合。本节讲解了如何求得最合适的$\lambda$值。
对于数据集，仍将它划为3份：训练集、验证集、测试集。对于给定的正则化模型，例如上面的例子，我们按$\lambda$从小到大的顺序依次取数，然后在训练集上学习模型参数，在交叉验证集上计算验证集误差，并选择误差最小的模型, 也就是选择$\lambda$，最后再在测试集上评估假设：
$$J(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2+\frac{\lambda}{2m}\sum_{j=1}^{m}\theta_j^2$$
偏差/方差可以作为正则化参数$\lambda$的函数，与上一小节相似，我们也可以画出这个函数图，这样就能评估$\lambda$合适的取值范围了：
Learning curves(学习曲线，训练集大小$m$ - $J(\theta)$图)
这一小节考虑Learning curves（学习曲线）的问题，主要针对的是训练样本数目来观察训练集误差和验证集误差之间的差异：
上图展现了训练样本数目和模型的关系。以二次项多项式回归为例，如果仅有一个训练样本，那么模型很容易和样本点拟合，训练集误差近似为0。也就是在训练集越小时模型越容易拟合样本点，而验证集误差可能会大一些；而当样本点比较多时，模型训练集误差会大一些，但是验证误集差会小一些。误差和训练样本数量$m$的关系，即学习曲线如下图所示：
对于高偏差欠拟合问题，即使增大了训练样本数目，模型假设对于问题的拟合依然不够，导致训练集和验证集的误差都会比较大。因此下图是高偏差欠拟合问题的学习曲线：
当模型高偏差时，那么它的训练误差和验证集误差在一定的训练样本数目之后都很高，而且不会随着样本数目的增大而改变，所以对于高偏差欠拟合的问题，增加训练样本数目不是一个好的解决办法。
而对于高方差过拟合问题，增大样本数目后，模型的泛化能力会好一些，下图是高方差过拟合问题的学习曲线：
如果一个学习算法是高方差的，那么它的训练误差和验证集误差在一定的训练样本数目之后虽然有差异，但是会随着样本数目的增大而减小它们之间的距离，所以对于高方差过拟合的问题，增加训练样本数目是解决方法之一。
下一步该做什么？
再次回到本章的开头的问题，假设你实现了一个正则化的线性回归算法来预测房价，然而当用它来测试一批新的房屋数据时，发现预测出来的数据很不准确时，下一步该采取什么措施？以下这些选项，分别针对的是高方差或高偏差的问题，你可以尝试用上述小节的一些方法来诊断你的学习算法，不过对于下述选项，需要你考虑一下是针对高偏差还是方差的问题，可以先思考一分钟再看答案：
神经网络中的过拟合问题
最后我们再来看一下神经网络和过拟合的问题：
以下是“小”的神经网络（参数比较少，很容易欠拟合）：
它的计算代价较少。
以下是“大”的神经网络（参数比较多，很容易过拟合):
它的计算代价较大，对于神经网络过拟合的问题，可以通过正则化($\lambda$)方法解决。