张士玉小黑屋

作者|TomerAmit译者|弯月，编辑 |屠敏出品|CSDN（ID：CSDNnews）在本文中，我将分享有关深度学习的25个问题，希望能够帮助你为面试做好准备。1.为什么必须在神经网络中引入非线性？答：否则，我们将获得一个由多个线性函数组成的线性函数，那么就成了线性模型。线性模型的参数数量非常少，因此建模的复杂性也会非常有限。2.说明解决神经网络中梯度消失问题的两种方法。答：使用ReLU激活函数代替S激活函数。使用Xavi

深度学习入门-与学习相关的技巧目录摘要1. 参数的更新1.1SGD1.2SGD 的缺点1.3Momentum（动量）1.4AdaGrad1.5Adam1.6 最优化方法的比较1.7 基于MNIST 数据集的更新方法的比较2. 权重的初始值3.BatchNormalization（批归一化）4. 正则化5. 超参数的验证摘要参数更新方法：SGD、Momentum、AdaGrad、Adam 等。权重初始值的赋值方法对进行正确的学习非常重要。作为权重初始值，Xavier 初始值、He 初始值等

在数据科学中，梯度下降GradientDescentalgorithm是重要且困难的概念之一。在这里，我们以非常简单的方式通过一个示例来解释这个概念。看一下这个。贾纳维·马哈坦（JahnaviMahanta）。当我第一次开始学习机器学习算法时，要弄清算法的作用是一项艰巨的任务。不仅因为很难理解所有的数学理论和符号，而且还很无聊。当我转向在线教程寻求答案时，我只能再次看到方程式或高级解释，而在大多

线性回归算法原理预测函数从一元到多元标量、向量、矩阵符号的定义标量展开式标量求和式向量内积式矩阵乘法式损失函数0-1损失绝对损失平方损失经验风险基本公式线性回归的经验风险梯度下降