01 2020 档案
摘要：tf.keras 使用手册。记录使用 tf.keras 时遇到的各种问题。本手册内容包括 CUDA、cuDNN 的安装，数据集加载，tf.keras没有集成的优化器（如 AdamW）的使用，自行设计 metrics 如 F1、recall、precision，模型复现、预训练模型加载、循环训练模型OOM，以及一些TensorFlow API变化
阅读全文
摘要：论文 "Decoupled Weight Decay Regularization" 中提到，Adam 在使用时，L2 regularization 与 weight decay 并不等价，并提出了 AdamW，在神经网络需要正则项时，用 AdamW 替换 Adam+L2 会得到更好的性能。 Ten
阅读全文
摘要：TF 2.0 for Linux 使用时报错：Loaded runtime CuDNN library: 7.4.1 but source was compiled with: 7.6.0. 解决方法：升级 cuDNN。非 root 用户可以在自己目录下安装 CUDA 和新版本的 cuDNN 来解决这个问题。
阅读全文
