神经网络索引帖
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 西山晴雪的知识笔记！
相关推荐
2023-03-17
深度学习理论的基本原则_第2章_神经网络
第 2 章 神经网络本章将转向深度学习的介绍性概述。 在 第 2.1 节 中，我们介绍了 神经元、激活、偏置、权重 和 层 等神经网络架构的基本组件，并定义了多层感知器（MLP），这是由基本组件迭代组成的一种简单模型。鉴于所有深度网络在概念上都是由许多结构相同的层迭代组成，因此可以将 MLP 视为一种原型网络架构，用于在整本书中说明深度学习的原理。这类神经网络模型足够丰富，可以捕捉深度学习理论的所有基本要素，同时又足够简单，可以保持本书的教学重点。尽管如此，我们还是会简要讨论其他网络架构的有效理论。 在 第 2.2 节 中，我们列出了一些在实践中经常使用的常见激活函数。 在 第 2.3 节 中，我们将讨论如何初始化 MLP。我们在这里进行了一个关键的概念转变，从 将权重和偏差视为随机变量，转向考虑 在神经活动和网络输出上引入的分布。当我们开始为具有一般激活函数的 MLP 开发有效理论时，我们在此处推导的表达式将为 第 4 章 中的分析提供一个自然的起点。 2.1 函数近似人工神经网络...
2021-04-10
深度神经网络的优化技巧
深度神经网络的优化技巧引起：剑启郁兰 2019-08-05 21:36:30 1、 深度神经网络主要要素结构 2、神经网络优化技巧框图 3、数据预处理部分 4、权重初始化部分 5、批量归一化部分 6、优化方法部分 7、激活函数部分 8、正则化和超参设置部分 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum =...
2023-01-03
🔥 广义线性模型索引帖
待补充 #refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content:...
2023-01-03
非独立同分布索引帖
#refplus, #refplus li{ padding:0; margin:0; list-style:none; }； document.querySelectorAll(".refplus-num").forEach((ref) => { let refid = ref.firstChild.href.replace(location.origin+location.pathname,''); let refel = document.querySelector(refid); let refnum = refel.dataset.num; let ref_content = refel.innerText.replace(`[${refnum}]`,''); tippy(ref, { content: ref_content, ...
2023-03-17
深度学习理论的基本原则_第0章_初始化
由于对计算机技术的大量投资，现代人工智能 (AI) 系统现在可以配备数十亿个基本组件。当这些组件被正确初始化然后训练时，人工智能可以完成曾经被认为非常复杂的任务，哲学家之前认为只有自然智能系统——即人类——才能执行这些任务。 人工智能取得如此成功的背后很大程度上是因为深度学习。深度学习使用人工神经网络作为 AI...
2023-03-17
深度学习理论的基本原则_第3章_初始化时深度线性网络的有效理论
第 3 章 初始化时深度线性网络的有效理论在最后的热身章节中，我们介绍并求解深度学习的玩具模型，即 深度线性网络（deep linear network）。 对于物理学家，我们打个比方：深度线性网络之于深度学习，就像简谐振子之于量子力学。 如 第 3.1 节 所述，深度线性网络只是一个具有线性激活函数的多层感知机。这样的网络只能计算输入的线性变换，当然不能产生像人类这样的函数（在经验上人类思维是非线性的）。尽管如此，对深度线性网络的研究仍然是我们后面几章陆续介绍的 深度学习的有效理论（effective theory of deep learning） 的基础蓝图。本章中的练习将说明：层到层的递归能够以非常直观的方式控制深度神经网络的统计量，而不会被所有技术细节所困扰。 为此，在 第 3.2 节 中，我们获得并精确求解深度线性网络中 （预激活的）两点相关器 的层到层递归。结果表明，神经网络的统计量敏感地依赖于 初始化超参数 的设置，敏感度随深度呈指数增长。这就引出了 临界点（criticality） 的重要概念，我们将在 第 5 章...