摘要：
2021-03-04 作者：董鑫链接：https://www.zhihu.com/question/66200879/answer/870023448来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 自动求导 (Automatic Differentiation, AD 阅读全文
摘要：
2021-03-04 Softmax softmax 虽然简单，但是其实这里面有非常的多细节值得一说。 我们挨个捋一捋。 1. 什么是 Softmax？ 首先，softmax 的作用是把 一个序列，变成概率。 他能够保证： 所有的值都是 [0, 1] 之间的（因为概率必须是 [0, 1]） 所有的值 阅读全文
摘要：
2021-03-04 数值求导和自动求导 早在高中阶段，我们就开始接触导数，了解过常用函数的求导公式。大学时，我们进一步懂得了用极限定义导数，比如，函数 在 处的导数定义为 然而，这个定义式似乎从来没有派上过用场，始终束之高阁。因为对我们来说，这个式子是没法计算的， 趋近于 ，超出了我们手工计算的能 阅读全文