8.1 导言¶

本书的大部分章节中，回归模型的拟合（学习）通过最小化残差平方和的方式实现；分类任务则通过最小化交互熵来实现。事实上，这两种方法都是极大似然拟合的实例。

本章将给出极大似然法的一般性描述，以及用于推断的贝叶斯方法。第 7 章中的自助法在本章中将继续讨论，并且描述了它与极大似然以及贝叶斯之间的联系。最后，提出模型平均和改善的相关技巧，包括 committee 方法、bagging、stacking 和 bumping。