两周深度学习计划（一）

最近正在学pytorch，恰逢看到有动手学深度学习的在线课程，便想系统整理和学习下Pytorch深度学习实践。再次感谢伯禹教育、Datawhale、和鲸科技等多家AI企业，让在家的同学也能免费学习优质的付费课程。

在这里我将记录读书笔记和个人感想。对于我个人学习深度学习的经历来说，深度学习的理论部分和实践部分是同等重要的，对于理论部分，自然是要自己在纸上细细推导两遍，对于实践部分，仅靠着线上参照着jupyter打两遍代码是不够的，更多的需要在比赛，或者实习中不断精进。下面，我将主要记录深度学习理论部分的重难点和掌握点。

话不多说，正式开始。
今天是Task01，包含线性回归，Softmax与分类模型、多层感知机课程。
从线性回归到逻辑回归到深度网络，是一个比较光滑和自然的学习曲线。在这里，我们从机器学习的基础出发，了解损失函数，交叉验证，优化算法等基本概念，思维导图如下：

这里列出了一些问题，如下：

Softmax的由来及推导

Softmax函数自然不是拍脑袋想出来，其身后有一套完整的推导与逻辑，简单的说，Softmax是在指数分布族的定义与广义线性模型的假设推导出来的，具体可参考广义线性模型与深度学习面试问题总结

深度神经网络的参数推导

其实，这主要考察的是对于深度学习反向推导的熟练度，掌握链式法则即可。

另外，可参考如下的学习资料：
学习参考资料