模型比较（Model Comparison）
【摘 要】正确使用模型评估、模型选择和算法选择技术在学术机器学习研究以及许多工业环境中至关重要。本文回顾了可用于这三个子任务中的每一个的不同技术，并讨论了每种技术的主要优点和缺点，并参考了理论和实证研究。此外，还提出了一些建议，以鼓励在机器学习的研究和应用中采用最佳但可行的做法。涵盖了模型评估和选择的常用方法，例如保持方法，在处理小数据集时不推荐使用。引入了不同风格的归纳技术来估计性能估计的不确定性，如果归纳在计算上是可行的，则作为通过正态近似的置信区间的替代方法。回顾了留一法交叉验证和k-fold交叉验证等常见的交叉验证技术，讨论了选择k的偏差-方差权衡，并给出了k的最佳选择的实用技巧。关于经验证据。介绍了算法比较的不同统计检验，并讨论了处理多重比较的策略，例如综合检验和多重比较校正。最后，推荐算法选择的替代方法，例如组合 F-test 5x2 交叉验证和嵌套交叉验证，用于在数据集较小时比较机器学习算法。
【原 文】 在大数据时代，分析师通常会针对观察到的数据探索各种统计模型或机器学习方法，以促进科学发现或获得预测能力。无论采用何种数据和拟合程序，关键步骤是从一组候选者中 ...