概览

机器学习的五大流派 一、五大流派 二、发展历程 （1）1980 年代 主导流派：符号主义 架构：服务器或大型机 主导理论：知识工程 基本决策逻辑：决策支持系统，实用性有限 （2）1990 年代到 2000 年 主导流派：贝叶斯 架构：小型服务器集群 主导理论：概率论 分类：可扩展的比较或对比，对许多任务都足够好了 （3）2010 年代早期到中期 主导流派：联结主义 架构：大型服务器农场 主导理论：神经科学和概率 识别：更加精准的图像和声音识别、翻译、情绪分析等 （4）2010 年代末期 主导流派：联结主义+符号主义 架构：许多云 主导理论：记忆神经网络、大规模集成、基于知识的推理 简单的问答：范围狭窄的、领域特定的知识共享 （5）2020 年代+ 主导流派：联结主义+符号主义+贝叶斯+…… 架构：云计算和雾计算 主导理论：感知的时候有网络，推理和工作的时候有规则 简单感知、推理和行动：有限制的自动化或人机交互 （6）2040 年代+ 主导流派：算法融合 架构：无处不在的服务器 主导理论：最佳组合的元学习 感知和响应：基于通过多种学习方式获得的知识或 ...

机器学习方法分类 〖摘要〗 〖原文〗改编自Lori 1 总览 在机器学习领域，学习任务根据数据样本情况，可大致划分为三类：有监督学习、无监督学习、弱监督学习和强化学习。 2 有监督学习和无监督学习 两者都需要从包含大量训练样本的训练数据集中学习预测模型，每个训练样本对应于事件/对象。如下图所示。 （1）有监督学习 监督学习的训练数据由两部分组成： 描述事件/对象的特征向量（x），以及 groud-truth 的标签（y）。 监督学习典型面向两类任务（见下图）。 **分类任务：**标签对应于训练样本属于哪一类（离散值）。 对于分类问题来说，x 是一些西瓜，y 是属于的类别，好的西瓜或者坏的西瓜。现在我们已经知道每一个西瓜是好的或坏的，如果我们有一个新的西瓜，我们需要根据之前的经验判断它是好的或者坏的。 分类需要先找到数据样本点中的分界线，再根据分界线对新数据进行分类，分类数据是离散的值，比如图片识别、情感分析等领域会经常用到分类任务。 **回归任务：**标签对应于该示例的真实值响应（连续纸）。 对于回归问题来说，x 是西瓜，y 是真实值响应。 ...

以下叙述并不严格，但比较好理解： （1）损失函数（Loss Function） 损失函数通常是定义在单一数据点、预测和标签上的函数，用于为衡量惩罚。例如： 平方损失 l(f(xi∣θ),yi)=(f(xi∣θ)−yi)2l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2l(f(xi​∣θ),yi​)=(f(xi​∣θ)−yi​)2l(f(x_i|\theta),y_i) = \ left (f(x_i|\theta)-y_i \right )^2，用于线性回归 铰链损失 l(f(xi∣θ),yi)=max⁡(0,1−f(xi∣θ)yi)l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)l(f(xi​∣θ),yi​)=max(0,1−f(xi​∣θ)yi​)l(f(xi∣θ),yi)=max⁡(0,1−f(xi∣θ)yi)l(f(x_i|\theta), y_i) = \max (0, 1-f(x_i|\theta)y_i)l(f(xi​∣θ),yi​)=m ...