经验贝叶斯

1 概念理解 传统贝叶斯方法需要事先指定参数（或隐变量）的先验分布以及模型的似然，而后利用已知数据对先验进行更新，最终得到后验分布。当先验分布完全未知时，推断会受到一定的影响。如果在创建后验概率分布之前，先利用某些方法来估计先验概率分布的参数，将使推断得到优化，而这就是经验贝叶斯方法的主要思想。 经验贝叶斯方法是 “在构建后验概率分布之前，估计和更新先验概率分布参数（即超参数）的方法集合”。该技术仍然遵循贝叶斯统计模型，但增加了估计先验概率分布的过程。 经验贝叶斯方法是一种统计推断过程，该方法根据经验数据估计先验概率分布。 此方法与标准贝叶斯方法形成对比，标准贝叶斯方法在观察到任何数据之前，先验分布都是固定的。经验贝叶斯可被视为对分层模型（Hierarchical Model）的完全贝叶斯处理的一种近似，只是其中最高层次级别的参数被设置为其最可能的值，而不是像完全贝叶斯处理一样通过积分获得。 经验贝叶斯也称为 最大边缘似然法，到目前仍然是一种设置超参数的便捷方法，但自 2000 年代以来，随着性能良好的计算技术的可用性不断提高，它已逐步被完全贝叶斯分层分析方法所取代。 （1 ...