深度学习 知识积累

《TensorFlow实战》
《TensorFlow:实战google深度学习框架》
西瓜书
  深度学习-花书

    吴恩达教学视频及其课件 http://mooc.study.163.com/smartSpec/detail/1001319001.htm

Keras中文文档  
https://keras-cn.readthedocs.io/en/latest/
https://tensorflow.google.cn/guide/keras
PyTorch中文文档
https://pytorch-cn.readthedocs.io/zh/latest/
tensorflow中文文档
http://www.tensorfly.cn/tfdoc/get_started/introduction.html

1.减少high bias的方法：
通常是增加神经网络的隐藏层个数、神经元个数，训练时间延长，选择其它更复杂的NN模型等；
减少high variance的方法：
通常是增加训练样本数据，进行正则化Regularization，选择其他更复杂的NN模型等。
2.对于Tensorflow的代码实现而言，实现代码的结构如下：
   1. 创建Tensorflow变量（此时，尚未直接计算）
   2. 实现Tensorflow变量之间的操作定义
   3. 初始化Tensorflow变量
   4. 创建Session
   5. 运行Session，此时，之前编写操作都会在这一步运行。