机器学习模型

【摘 要】 地球系统模型 (ESM) 是量化地球物理状态并预测未来可能发生的变化的主要工具。然而，近年来，人工智能 (AI) 方法越来越多地用于增强甚至取代经典的地球系统模型任务，这让人们对人工智能能够解决气候科学的一些重大挑战产生了希望。在此观点中，我们调查了过程模型和 AI 在地球系统和气候研究中的最新成就和局限性，并提出了一种方法论转变，其中深度神经网络和地球系统模型被区分为单独的方法，并重新组合为学习、自我验证和可解释的地球系统模型-神经网络混合体。沿着这条道路，我们创造了术语 神经地球系统建模。我们研究了神经地球系统建模的并发潜力和陷阱，并讨论了人工智能是否可以支持地球系统模型甚至最终使它们过时的悬而未决的问题。 【原 文】 Irrgang, C. et al. (2021) ‘Towards neural Earth system modelling by integrating artificial intelligence in Earth system science’, Nature Machine Intelligence, 3(8), pp....

〖摘要〗 在很多模型假设中，存在各种形式的隐变量和隐结构，其目的是使高维数据能够得到足够地解释，以发现或挖掘隐藏在可观测数据深层的知识或信息。我们可以将此类模型暂时称为 发现模型 或者 广义隐变量模型。本文是此类模型的一个总揽，大部分内容摘自 Murphy 的《机器学习：高级主题》的第 27 章。 在本部分中，我们专注于能够为 问题提出发现模型假设我们能够观测到的数据 $\boldsymbol{x}$ 是由某些底层的潜在因素 $\boldsymbol{z}$ （ 通常是低维的 ）导致，并且通常 $\boldsymbol{z}$ 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素通常被认为对模型的最终用户有意义 （ 也就是说，评估此类模型需要领域专业知识，具有可解释性 ）。 我们的目的是通过对可观测数据 $\boldsymbol{x}$ 的处理，得到潜在因素 $\boldsymbol{z}$ 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。 这种反向建模方法广泛用于科学和工程中，其中 $\boldsymbol{z}$...

基于该评分规则的最小化负对数损失 （ $\text{NLL}$ ）方法，应该会产生良好校准的输出类概率。但在实践中，对数损失往往会过分强调概率分布的尾部。 一、问题提出绝大多数机器学习都比较关注解决一个单纯的问题：从标记训练集 $\mathcal{D} = {(\boldsymbol{x}_n, \boldsymbol{y}_n), n = 1:N}$ 中学习得到某个函数 $f$，使其能够从未来的新输入 $\boldsymbol{x}$ 中预测输出 $\boldsymbol{y}$。 其中，$\boldsymbol{x}_n \in \mathcal{X} \subseteq \mathbb{R}^D$, $\boldsymbol{y}_n \in \mathcal{Y} \subseteq \mathbb{R}^C$ 。 我们可以使用形式为 $p(\boldsymbol{y}|f(\boldsymbol{x}))$ 的条件概率模型，对给定输入时正确输出的不确定性建模。 当 $\mathcal{Y}$ 是一组离散标签时，此类模型（在 ML...

〖摘要〗生成模型（Generative Model）是概率统计和机器学习中的一类重要模型，泛指一系列用于随机生成可观测数据的模型。生成模型应用十分广泛，可以用于对不同类型的数据建模，如图像、文本、声音等。如果假设上述某类型的数据对象都服从一个未知分布，则生成模型通常希望通过一些观测样本来学习（估计）该分布，并能够利用该分布随机地生成未观测过的新样本。生成模型有很多种，本文是此类模型的一个简单概览，其中大部分内容来自 Murphy 的《Machine Learning: Advanced Topics》第 20 章。 〖参考〗 J. M. Tomczak, Deep Generative Modeling. ch.1 / Murphy, 《Machine Learning: Advanced Topics》ch. 20 / Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive...

发现模型概览〖摘要〗 在很多模型假设中存在各种形式的隐变量和隐结构，其目的是使高维数据能够得到足够地解释，以便发现或挖掘隐藏在可观测数据深层的知识或信息。我们将此类模型称为 发现模型 或者 广义隐变量模型。本文是此类模型的一个总揽，大部分内容摘自 Murphy 的《机器学习：高级主题》的第 27 章。 问题提出发现模型假设我们能够观测到的数据 $\boldsymbol{x}$ 是由某些底层的潜在因素 $\boldsymbol{z}$ （ 通常是低维的 ）导致，并且通常 $\boldsymbol{z}$ 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素通常被认为对模型的最终用户有意义 （ 也就是说，评估此类模型需要领域专业知识，具有可解释性 ）。 我们的目的是通过对可观测数据 $\boldsymbol{x}$ 的处理，得到潜在因素 $\boldsymbol{z}$ 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。 这种反向建模方法广泛用于科学和工程中，其中 $\boldsymbol{z}$ 代表了自然界中待估计的潜在状态，而...

待完善 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content:...

决策模型概览〖摘要〗 在很多模型假设中，存在各种形式的隐变量和隐结构，其目的是使高维数据能够得到足够地解释，以发现或挖掘隐藏在可观测数据深层的知识或信息。我们可以将此类模型暂时称为 发现模型 或者 广义隐变量模型。本文是此类模型的一个总揽，大部分内容摘自 Murphy 的《机器学习：高级主题》的第 27 章。 在本部分中，我们专注于能够为 问题提出发现模型假设我们能够观测到的数据 $\boldsymbol{x}$ 是由某些底层的潜在因素 $\boldsymbol{z}$ （ 通常是低维的 ）导致，并且通常 $\boldsymbol{z}$ 代表了世界的某种 “真实” 状态。至关重要的是，这些潜在因素通常被认为对模型的最终用户有意义 （ 也就是说，评估此类模型需要领域专业知识，具有可解释性 ）。 我们的目的是通过对可观测数据 $\boldsymbol{x}$ 的处理，得到潜在因素 $\boldsymbol{z}$ 的底层作用机理， 进而能够给可观测数据的生成作出一个合理的解释。 这种反向建模方法广泛用于科学和工程中，其中 $\boldsymbol{z}$...

系统化掌握集成学习1. 简单的集成学习方法平均法加权平均法最大投票法 2. 二次采样方法与统计机器学习基础3. Bagging 方法 – 等权重的装袋法Bootstrap Aggregation 4. Random Forest 随机森林法 –5. Boosting 方法 – 权重逐步增大的提升法6. Stacking 方法 – 学习最优的模型组合7. 应用案例同质分类器的集成学习 – 以手写数字识别为例 异质分类器的集成学习 – 以信用卡违约预测为例 异质分类器的集成学习 – 以垃圾邮件为例 异质分类器的集成学习 – 以电影评论情感分析为例 同质分类器的集成学习 – 以时尚产品分类为例 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { ...

集成学习–Ensembling Learning偷懒了，直接转载 Juicy B 关于集成学习的系列博客。 1. AdaBoost分类算法原理及sklearn应用2. AdaBoost回归算法原理及sklearn应用3. GBDT分类算法原理及sklearn应用4. GBDT回归算法原理及sklearn应用5. LightGBM 6. Random Forest 与 Bagging #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel =...

【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。 【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》 p{text-indent:2em;2} 1 集成学习 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid =...