预测任务

【摘要】核方法【原文】【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》 p{text-indent:2em;2} 1 核方法 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content =...

【摘要】 “距离度量” 或者说 “相似度度量” 是基于实例方法和很多其他方法进行最优化选择的基础。 【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》 p{text-indent:2em;2} 1 距离度量学习 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum =...

【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。 【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》 p{text-indent:2em;2} 1 KDE 模型 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid =...

【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。 【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》 p{text-indent:2em;2} 1 KNN 模型 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid =...

模型比较（Model Comparison） #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { ...

【摘 要】正确使用模型评估、模型选择和算法选择技术在学术机器学习研究以及许多工业环境中至关重要。本文回顾了可用于这三个子任务中的每一个的不同技术，并讨论了每种技术的主要优点和缺点，并参考了理论和实证研究。此外，还提出了一些建议，以鼓励在机器学习的研究和应用中采用最佳但可行的做法。涵盖了模型评估和选择的常用方法，例如保持方法，在处理小数据集时不推荐使用。引入了不同风格的归纳技术来估计性能估计的不确定性，如果归纳在计算上是可行的，则作为通过正态近似的置信区间的替代方法。回顾了留一法交叉验证和k-fold交叉验证等常见的交叉验证技术，讨论了选择k的偏差-方差权衡，并给出了k的最佳选择的实用技巧。关于经验证据。介绍了算法比较的不同统计检验，并讨论了处理多重比较的策略，例如综合检验和多重比较校正。最后，推荐算法选择的替代方法，例如组合 F-test 5x2 交叉验证和嵌套交叉验证，用于在数据集较小时比较机器学习算法。 【原 文】...

p{text-indent:2em;2} 分层模型 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { ...

其中是一个函数，我们将调用反向链接函数。有许多反向链接函数可供选择；可能最简单的是恒等函数。这是一个返回与其参数相同的值的函数。第3章“线性回归建模”中的所有模型都使用了单位函数，为简单起见，我们只是省略了它。身份功能本身可能不是很有用，但它允许我们以更统一的方式考虑几种不同的模型。 Probit 模型在上一章中，我们使用输入变量的线性组合来预测输出变量的平均值。我们假设后者为高斯分布。在许多情况下都可以使用高斯分布，但对于其他许多情况，选择不同的分布可能更明智；当我们用 $t$ 分布替换高斯分布时，我们已经看到了一个这样的例子。在本章中，我们将看到更多使用高斯分布以外分布的明智例子。正如我们将了解到的，存在一个通用的主题或模式，可将线性模型推广到许多问题。在本章中，我们将探讨： 广义线性模型 Logistic回归和逆链接函数 简单Logistic回归 多元Logistic回归 Softmax函数和多项Logistic回归 Poisson回归 零膨胀Poisson回归 4.1...

其中是一个函数，我们将调用反向链接函数。有许多反向链接函数可供选择；可能最简单的是恒等函数。这是一个返回与其参数相同的值的函数。第3章“线性回归建模”中的所有模型都使用了单位函数，为简单起见，我们只是省略了它。身份功能本身可能不是很有用，但它允许我们以更统一的方式考虑几种不同的模型。 p{text-indent:2em;2} 广义线性模型在上一章中，我们使用输入变量的线性组合来预测输出变量的平均值。我们假设后者为高斯分布。在许多情况下都可以使用高斯分布，但对于其他许多情况，选择不同的分布可能更明智；当我们用 $t$ 分布替换高斯分布时，我们已经看到了一个这样的例子。在本章中，我们将看到更多使用高斯分布以外分布的明智例子。正如我们将了解到的，存在一个通用的主题或模式，可将线性模型推广到许多问题。在本章中，我们将探讨： 广义线性模型 Logistic回归和逆链接函数 简单Logistic回归 多元Logistic回归 Softmax函数和多项Logistic回归 Poisson回归 零膨胀Poisson回归 4.1...

【摘要】 MLE、MAP和贝叶斯推断【原文】【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》 p{text-indent:2em;2} 1 MLE、MAP和贝叶斯推断 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let...