贝叶斯优化

1 概述优化是一种与生俱来的人类行为。在个人层面上，我们努力改善自己和周围的环境。在集体层面上，社会努力分配有限资源以改善其成员福利，自从 12000 多年前通过育种驯化农作物以来，优化一直是社会进步的引擎，这一努力一直持续到今天。 鉴于其普遍性，优化也很难这件事情也许就不足为奇了。当我们在寻找最优设计时，必须花费资源（有时相当大）来评估次优的备选方案。这迫使我们寻求（在必要时）“能够精心分配资源以尽可能有效地确定最佳参数的” 优化方法。这正是数学优化的目标。 自 1960 年代以来，统计和机器学习社区已经逐步完善了在本书中开发和探索的贝叶斯优化方法。贝叶斯优化程序依赖于目标函数的统计模型，其给出的信念将指导算法做出最有成效的决策。这些统计模型可能非常复杂，并且在优化过程中维护它们可能会产生巨大成本。不过，这种努力的回报是样本效率。出于此原因，在存在如下目标优化问题时，贝叶斯优化具有显著的需要： 优化目标的计算代价较高，无法进行详尽评估 优化目标缺乏有用的表达，使其成为 “黑匣子” 式的函数 优化目标无法进行精确评估，只能通过一些间接或含噪声的机制...