贝叶斯优化概述(节选)
1 概述
优化是一种与生俱来的人类行为。在个人层面上,我们努力改善自己和周围的环境。在集体层面上,社会努力分配有限资源以改善其成员福利,自从 12000 多年前通过育种驯化农作物以来,优化一直是社会进步的引擎,这一努力一直持续到今天。
鉴于其普遍性,优化也很难这件事情也许就不足为奇了。当我们在寻找最优设计时,必须花费资源(有时相当大)来评估次优的备选方案。这迫使我们寻求(在必要时)“能够精心分配资源以尽可能有效地确定最佳参数的” 优化方法。这正是数学优化的目标。
自 1960 年代以来,统计和机器学习社区已经逐步完善了在本书中开发和探索的贝叶斯优化方法。贝叶斯优化程序依赖于目标函数的统计模型,其给出的信念将指导算法做出最有成效的决策。这些统计模型可能非常复杂,并且在优化过程中维护它们可能会产生巨大成本。不过,这种努力的回报是样本效率。出于此原因,在存在如下目标优化问题时,贝叶斯优化具有显著的需要:
优化目标的计算代价较高,无法进行详尽评估
优化目标缺乏有用的表达,使其成为 “黑匣子” 式的函数
优化目标无法进行精确评估,只能通过一些间接或含噪声的机制
优化目标没有提供有效 ...
近似贝叶斯计算索引帖
注: 近似贝叶斯计算(Approximate Bayesian Comnpution, ABC)主要面向似然函数无法解析给出的场景,即似然函数是 intractable 的。在传统的空间信息技术领域中,不管是点参考数据还是面元数据,一般都会给出高斯、泊松等似然假设,因此目前的应用较少,此部分内容暂时作为了解范畴。
1 概论
《近似贝叶斯计算简明教程》:节选自 Martin《Python 中的贝叶斯建模和计算》一书的第八章。
2 序列数据
当面临序列问题时,会涉及传统有显式似然的 序贯蒙特卡洛方法(SMC) 向无显式似然的 序贯蒙特卡洛近似贝叶斯计算(SMC-ABC) 的转变。
3
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
...
近似贝叶斯计算简明教程(节选)
【摘 要】似然是贝叶斯统计推断的基本要素之一,传统方法会通过对似然的参数化建模,来得到其参数的后验分布并进而得到后验预测分布。但在很多时候,似然的建模并不那么明确,甚至无法被参数化建模,使得贝叶斯分析方法陷入困难。近似贝叶斯计算(Approximate Bayesian Computation, ABC)正是解决此问题的基本方法,在最近 20 年左右时间里得到了快速发展。本文解释了一些近似贝叶斯计算的基本概念、原理和示例,帮助初学者快速掌握该方法。 本书节选自 Martin 的 《Bayesian modeling and computation in python》 一书第八章。
【原 文】 Martin, O.A., Kumar, R. and Lao, J. (2021) Bayesian modeling and computation in python. Boca Raton. https://github.com/BayesianModelingandComputationInPython/BookCode_Edition1/
在本章中,我们讨论 近似贝叶斯计 ...
🔥 深度高斯马尔可夫随机场
【摘 要】 高斯马尔可夫随机场 (GMRF) 是一种广泛应用于空间统计和相关领域的概率图模型,用于模拟空间结构的依赖性。本文在高斯马尔可夫随机场和卷积神经网络 (CNN) 之间建立了正式联系。普通的高斯马尔可夫随机场是生成模型的一个特例,其中从数据到隐变量的逆映射由单层线性卷积神经网络给出。这种连接关系使我们能够将高斯马尔可夫随机场推广到多层 CNN 架构,以一种有利于计算伸缩性的方式有效增加相应高斯马尔可夫随机场的阶数。我们描述了如何使用成熟工具(例如 自动微分和变分推断)来简单有效地推断和学习深度高斯马尔可夫随机场。我们展示了所提出模型的灵活性,并在卫星温度数据集上表明了其在预测准确性和不确定性方面优于的目前最好的技术。
【原 文】 Sidén, P. and Lindsten, F. (2020) ‘Deep Gaussian Markov Random Fields’. arXiv. Available at: http://arxiv.org/abs/2002.07467 (Accessed: 15 November 2022).
1 引言
在对大量图像进行训练时 ...
数据增强方法索引帖
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
贝叶斯模型比较与选择索引帖
待完善
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
贝叶斯优化索引帖
待完善
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
贝叶斯决策索引帖
待完善
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
强化学习索引帖
待完善
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...
因果推断索引帖
待完善
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
};
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = document.querySelector(refid);
let refnum = refel.dataset.num;
let ref_content = refel.innerText.replace(`[${refnum}]`,'');
tippy(ref, {
content: ref_content,
...