目录1 损失函数1.1 Loss Function的作用1.2 损失函数简单示例1.3 均方差1.4 交叉熵误差:1.5 如何在神经网络中用到Loss Function2 反向传播2.1 www.devze.combackward2.2 optimizer总结1 损失函数
目录反向传播手动完成线性回归pytorch API完成线性回归优化器类实现反向传播
前言: 反向传播的目的是计算成本函数C对网络中任意w或b的偏导数。一旦我们有了这些偏导数,我们将通过一些常数 α的乘积和该数量相对于成本函数的偏导数来更新网络中的权重和偏差。这是流行的梯度下降算法。而