随笔分类 - keras
tf.keras
摘要：tf.keras 使用手册。记录使用 tf.keras 时遇到的各种问题。本手册内容包括 CUDA、cuDNN 的安装，数据集加载，tf.keras没有集成的优化器（如 AdamW）的使用，自行设计 metrics 如 F1、recall、precision，模型复现、预训练模型加载、循环训练模型OOM，以及一些TensorFlow API变化
阅读全文
摘要：论文 "Decoupled Weight Decay Regularization" 中提到，Adam 在使用时，L2 regularization 与 weight decay 并不等价，并提出了 AdamW，在神经网络需要正则项时，用 AdamW 替换 Adam+L2 会得到更好的性能。 Ten
阅读全文
摘要：TF 2.0 for Linux 使用时报错：Loaded runtime CuDNN library: 7.4.1 but source was compiled with: 7.6.0. 解决方法：升级 cuDNN。非 root 用户可以在自己目录下安装 CUDA 和新版本的 cuDNN 来解决这个问题。
阅读全文
摘要：TensorFlow 2.0 版本将 keras 作为高级 API，对于 keras boy/girl 来说，这就很友好了。tf.keras 从 1.x 版本迁移到 2.0 版本，需要注意几个地方。 1. 设置随机种子 2. 设置并行线程数和动态分配显存 3. model.compile() 中设置
阅读全文
摘要：tf.keras.metric 里面竟然没有实现 F1 score、recall、precision 等指标，一开始觉得真不可思议。但这是有原因的，这些指标在 batch-wise 上计算都没有意义，需要在整个验证集上计算，而 tf.keras 在训练过程（包括验证集）中计算 acc、loss 都是一个 batch 计算一次的，最后再平均起来。
阅读全文
摘要：TensorFlow Datasets 简单介绍，使用 tfds 方便导入一些 tf.keras.datasets 中没有的数据集。
阅读全文
摘要：在 cifar-10 上训练 AlexNet。将 32×32 的图片 resize 到 224×224 之后，数据将无法完全加载到 32G 内存中，会产生 OOM。那么此时的做法有：
1）将 resize 作为模型的一部分，如设置一个 layer 来对一个 batch 的图像进行 resize，这样 32×32 的 cifar-10 仍然可以完全加载到内存中；
2）一种通用的方法，每次只加载一部分数据到内存中，其余数据等到需要的时候再加载到内存。
阅读全文
摘要：解决 tf.keras 在加载 cifar10 数据时的异常 ssl.SSLError: [SSL: DECRYPTION_FAILED_OR_BAD_RECORD_MAC]
阅读全文
摘要：tf.keras 使用 tensorflow 中定义的 optimizer，同时如果使用 ReduceLROnPlateau() callbacks，会出现错误 AttributeError: 'TFOptimizer' object has no attribute 'lr'，通过 TFOptimizer 对 optimizer 进行一层包装即可解决这个问题。
阅读全文
摘要：tf.keras 循环训练模型时内存溢出的问题，OOM
阅读全文
摘要：本文介绍了如何将 PyTorch 中实现的 AlexNet 预训练模型加载到 tf.keras 中。tf.keras没有预训练好的AlexNet模型，如果我们想要在keras上用AlexNet来做迁移学习，要重新在ImageNet上跑一遍AlexNet代码？这是不现实的。其它深度学习框架，如 PyTorch，有在ImageNet上训练好的 AlexNet，我们将其它框架训练好的模型参数加载到keras中。但不同框架之间保存模型的文件有差异，需要进行一些操作。本文利用微软的开源工具 MMdnn，实现 AlexNet 模型的迁移。
阅读全文
摘要：keras 模型复现的要求
阅读全文
