非参数模型

Combining heterogeneous spatial datasets with process-based spatial fusion models: A unifying frameworkAuthor links open overlay panelCraig Wang a, Reinhard Furrer a b, SNC Study Group Show more Outline Add to Mendeley Share Cite https://doi.org/10.1016/j.csda.2021.107240Get rights and content Under a Creative Commons license open access AbstractIn modern spatial statistics, the structure of data has become more heterogeneous. Depending on the types of spatial data, different modeling...

1 高斯过程原理（1）基本原理 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第二章 《高斯过程回归》 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第三章 《高斯过程分类》 （可以视为非高斯似然的一类，暂无中文稿） Wang 2020 年的 高斯过程回归初步教程: 高斯过程回归模型因其表达方式的灵活性和内涵的不确定性预测能力而广泛用于机器学习应用中。本文解释了构建高斯过程的基本概念，包括多元正态分布、核、非参数模型、联合和条件概率等。然后，简明描述了高斯过程回归以及标准高斯过程回归算法的实现。除了标准高斯过程回归，本文还回顾了目前最先进的高斯过程算法软件包。 Gal Yarlin 2017 年的 高斯过程精简版教程: 本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归基本原理、超参优化、高维输入等问题。本文可以与上一篇文章相互参考，大部分内容具有雷同。 （2）核（协方差）函数 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第四章...

1 高斯过程回归（分类）的基本原理 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第二章 《高斯过程回归》 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第三章 《高斯过程分类》 （可以视为非高斯似然的一类，暂无中文稿） Wang 2020 年的 高斯过程回归初步教程: 高斯过程回归模型因其表达方式的灵活性和内涵的不确定性预测能力而广泛用于机器学习应用中。本文解释了构建高斯过程的基本概念，包括多元正态分布、核、非参数模型、联合和条件概率等。然后，简明描述了高斯过程回归以及标准高斯过程回归算法的实现。除了标准高斯过程回归，本文还回顾了目前最先进的高斯过程算法软件包。 Gal Yarlin 2017 年的 高斯过程精简版教程: 本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归基本原理、超参优化、高维输入等问题。本文可以与上一篇文章相互参考，大部分内容具有雷同。 2 高斯过程的核（协方差）函数 Rasmussen 等 2006 年经典书籍《机器学习中的高斯过程》节选第四章...

待补充 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content:...

【摘要】非参数模型并不是指模型没有参数，而是指模型中没有固定数量的参数，所以称之为无固定数量参数模型更为准确一些。传统的非参数模型主要包括以下三种类型：基于样本实例的模型（如 KNN 等）、基于核函数的模型（如：高斯过程、支持向量机）、基于决策树的模型（如：分类树、回归树、随机森林等），本文讲对它们进行概览。关于各种模型的细节，参加下面的相关链接。 【相关链接】 基于实例的方法： KNN 算法 距离度量方法 KDE 算法 基于核函数的方法： 高斯过程 支持向量机 基于决策树的方法： 分类树 回归树 随机森林 p{text-indent:2em;2} 1 非参数模型概述 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { ...

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

〖摘要〗 〖原文〗 Standford cs228 notes 〖参考〗CMU 10-708 Slides / CMU 10-708 Lecture Notes / Jordan TextBook, Ch.2(section 2.2 - end) / Koller’s Textbook,Ch.4 / A. Fischer and C. Igel, An Introducton to Restricted Boltzmann Machines / B. A. Cipra, An Introduction to the Ising Model

【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。 1 一元高斯分布我们从最简单最常见的一元高斯分布开始，其概率密度函数为 $$p(x) = \frac{1}{\sigma\sqrt{2\pi}}\exp (-\frac{(x-\mu)^2}{2\sigma^2}) \tag{1}$$ 其中 $\mu$ 和 $\sigma$ 分别表示均值和方差，这个概率密度函数曲线画出来就是我们熟悉的钟形曲线，均值和方差唯一地决定了曲线的形状。 2 多元高斯分布从一元高斯分布推广到多元高斯分布，假设各维度之间相互独立，则有联合分布： $$p(\mathbf{x})=p(x_1, x_2, …, x_n) =...

【摘 要】本教程旨在提供对高斯过程回归（Gaussian processes regression，GPR）的直观理解。高斯过程回归模型因其表达方式的灵活性和内涵的不确定性预测能力而广泛用于机器学习应用中。本文首先解释了构建高斯过程的基本概念，包括多元正态分布、核、非参数模型、联合和条件概率等。然后，简明描述了高斯过程回归以及标准高斯过程回归算法的实现。除了标准高斯过程回归，本文还回顾了目前最先进的高斯过程算法软件包。 【原 文】Jie Wang (2020). An Intuitive Tutorial to Gaussian Processes Regression. https://arxiv.org/abs/2009.10862 1 引言高斯过程模型是一种概率监督机器学习框架，已广泛用于回归和分类任务。高斯过程回归（Guassian Process Regression, GPR）模型可以结合先验知识（核）进行预测，并提供预测的不确定性度量...

【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。 【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》 p{text-indent:2em;2} 1 集成学习 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid =...