张士玉小黑屋

目录1：何为梯度下降1.1简单描述1.2直观描述1.3假设2.符号说明3.具体步骤4.简单的证明5.优化5.1模型的缺点5.1.1效率5.1.2准确度5.1.3具有迷惑性的平原5.1.4局部最优解5.2优化算法5.2.1Adagrad5.2.2SGDM5.2.3Adam参考文献1：何为梯度下降1.1简单描述通过迭代的思想解决函数求最值的问题（下文会以求最小值为例）1.2直观

从上图M-P神经元模型可以看出，神经元的输出：

独家思维导图！让你秒懂李宏毅2020深度学习（三）——深度学习基础（神经网络和反向传播部分）长文预警！！！前面两篇文章主要介绍了李宏毅视频中的机器学习部分，从这篇文章开始，我将介绍李宏毅视频中的深度学习部分，难度又将提升一个档次，大家一起加油鸭！本篇内容融合了李宏毅深度学习基础部分的多项知识，顺序根据博主的理解进行了