3.2 为什么用了验证集 (validation set) 结果还是过拟合(overfitting)了呢？

status

type

date

slug

summary

对于我们训练的三个模型，我们并不会在训练集上评估它的好坏，而是会计算它们的参数在在验证集上的Loss，以最小的那个Loss所对应的参数来让测试集做测试，这个其实就是之前提到的，以测试集来代表所有位置的。

使用验证集来选择合适的模型=用测试集来”训练”模型（这个训练不是真正意义上的机器学习训练，因为我们的参数已经给出来了，不需要计算Gradient那些东西），不过模型的范围为

那验证集的使用和overfitting有什么关系呢？

答案是，当我们的训练集不好的时候会有这种差异，而我们抽到这种不好的训练集的概率由如下公式决定：

一方面取决于训练集，训练集越多，采样到坏的训练集的概率就越低；另一方面取决于模型的复杂度/弹性，模型复杂度越高，采样到坏的训练集的概率就越高。

同样的，对于验证集我们也可以有这个概念：

验证集的好坏也取决于验证集大小和模型的复杂度。对于验证集来说，通常都比较小，但如果它很大的时候就容易发生overfitting了。

这就是为什么有了验证集还是会过拟合的原因。