经验误差，泛化误差

假设我们现在有数据集,其中N NN是数据集的大小， 为数据的属性1， 为标签。假设有，，假设中的所有样本都满足一个隐含的，未知的分布，也就是说D中的所有样本都是从中独立同分布(i.i.d) 地采样的。然后假设h是算法学习到的从到的映射，，并且有，其中为算法的假设空间。我们可以定义映射 h的 泛化误差(generalization error):

因为我们无法观察到整个分布，只能观察到独立同分布采样后的D，因此我们需要定义 经验误差(empirical error):

其中的表示当条件符合时输出1，否则输出0。由于D是的独立同分布采样，因此h的经验误差的期望等于泛化误差。