- 机器学习编程:从编码到深度学习
- (意)保罗·佩罗塔
- 208字
- 2021-06-01 17:13:31
5.2.3 升级梯度
既然我们已经有了一个全新的损失函数,那就来看看这个损失函数的梯度吧。直接摘自数学教科书的log损失函数对权重的偏导数如下所示:
![](https://epubservercos.yuewen.com/432DF4/20180619108106606/epubprivate/OEBPS/Images/065-2-i.jpg?sign=1739594554-jOk61AWBgaq8lAeMbwFombvBoDNWRAv4-0-3a4eb9ebbc5a13eeb74046dd782f9fe8)
如果你的记忆力不错,这个梯度可能看起来很熟悉。事实上,它与我们目前使用的均方误差梯度非常相似:
![](https://epubservercos.yuewen.com/432DF4/20180619108106606/epubprivate/OEBPS/Images/065-3-i.jpg?sign=1739594554-uVc6rtr9SJ1Y9yy7gZwrDUqVbPfVHu1z-0-fdcbe26fbbbcca5d55be2614bf531bfc)
看看它们有多相似?这就意味着我们可以使用之前的gradient()函数:
![](https://epubservercos.yuewen.com/432DF4/20180619108106606/epubprivate/OEBPS/Images/065-4-i.jpg?sign=1739594554-dei5JGd2Sc6IT69b1aWVnJn1vAGLBHmq-0-fea696e613e97dccc3fc8f22559b5b3c)
并迅速将其转换成新的公式:
![](https://epubservercos.yuewen.com/432DF4/20180619108106606/epubprivate/OEBPS/Images/065-5-i.jpg?sign=1739594554-RyDDSB3eHfAndGMKSxuAzAGNV0LjfnbL-0-29de6f8dd695278172d78b2402c41b42)
这样,我们就完成了系统从线性回归模型到分类模型的转换。让我们再花一点时间,来看看这个变化是如何影响系统模型的。