非参数模型索引帖
【摘要】非参数模型并不是指模型没有参数，而是指模型中没有固定数量的参数，所以称之为无固定数量参数模型更为准确一些。传统的非参数模型主要包括以下三种类型：基于样本实例的模型（如 KNN 等）、基于核函数的模型（如：高斯过程、支持向量机）、基于决策树的模型（如：分类树、回归树、随机森林等），本文讲对它们进行概览。关于各种模型的细节，参加下面的相关链接。
【相关链接】
基于实例的方法：
KNN 算法
距离度量方法
KDE 算法
基于核函数的方法：
高斯过程
支持向量机
基于决策树的方法：
分类树
回归树
随机森林
p{text-indent:2em;2}
1 非参数模型概述
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let ...
➃ 系统化掌握集成学习方法
系统化掌握集成学习
1. 简单的集成学习方法
平均法
加权平均法
最大投票法
2. 二次采样方法与统计机器学习基础
3. Bagging 方法 – 等权重的装袋法
Bootstrap Aggregation
4. Random Forest 随机森林法 –
5. Boosting 方法 – 权重逐步增大的提升法
6. Stacking 方法 – 学习最优的模型组合
7. 应用案例
同质分类器的集成学习 – 以手写数字识别为例
异质分类器的集成学习 – 以信用卡违约预测为例
异质分类器的集成学习 – 以垃圾邮件为例
异质分类器的集成学习 – 以电影评论情感分析为例
同质分类器的集成学习 – 以时尚产品分类为例
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => ...
➃ 集成学习：初识
集成学习–Ensembling Learning
偷懒了，直接转载 Juicy B 关于集成学习的系列博客。
1. AdaBoost分类算法原理及sklearn应用
2. AdaBoost回归算法原理及sklearn应用
3. GBDT分类算法原理及sklearn应用
4. GBDT回归算法原理及sklearn应用
5. LightGBM
6. Random Forest 与 Bagging
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
let refel = ...
➃ 集成学习： 提升法
【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。
【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》
p{text-indent:2em;2}
1 集成学习
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
...
➃ 集成学习：Bagging
【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。
【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》
p{text-indent:2em;2}
1 集成学习之 『装袋法』
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathnam ...
➂ 决策树：随机森林
【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。
【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》
p{text-indent:2em;2}
1 决策树之『随机森林』
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname ...
➃ 集成学习：概况
【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。
【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》
p{text-indent:2em;2}
1 集成学习之 『概况』
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname ...
➂ 决策树：回归树
【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。
【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》
p{text-indent:2em;2}
1 决策树之『回归树』
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname, ...
➂ 决策树：分类树
【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。
【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》
p{text-indent:2em;2}
1 决策树之『分类树』
#refplus, #refplus li{
padding:0;
margin:0;
list-style:none;
}；
document.querySelectorAll(".refplus-num").forEach((ref) => {
let refid = ref.firstChild.href.replace(location.origin+location.pathname, ...
➂ 决策树：概况
【摘要】 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 基本原理、超参优化、高维输入等问题。
【see also】 《高斯过程的可视化探索》； 《稀疏高斯过程及其推断》； 《深度高斯过程》
p{text-indent:2em;2}
1 决策树之『概况』
我们从最简单最常见的一元高斯分布开始，其概率密度函数为
p(x)=1σ2πexp(−(x−μ)22σ2)(1)p(x) = \frac{1}{\sigma\sqrt{2\pi}}\exp (-\frac{(x-\mu)^2}{2\sigma^2}) \tag{1}
p(x)=σ2π1exp(−2σ2(x−μ)2)(1)
其中 μ\muμ 和 σ\sigmaσ 分别表示均值和方差，这个概率密度函数曲线画出来就是我们熟悉的钟形曲线，均值和方差唯一地决定了曲线的形状。
2 多元高斯分布
从一元高斯分布推广到多元高斯分布，假设各维度之 ...