摘要：
Linux 和 Windows 系统下，查看当前正在执行的 python 进程，以及 GPU 的利用率。 阅读全文
摘要：
在 cifar-10 上训练 AlexNet。将 32×32 的图片 resize 到 224×224 之后，数据将无法完全加载到 32G 内存中，会产生 OOM。那么此时的做法有：
1）将 resize 作为模型的一部分，如设置一个 layer 来对一个 batch 的图像进行 resize，这样 32×32 的 cifar-10 仍然可以完全加载到内存中；
2）一种通用的方法，每次只加载一部分数据到内存中，其余数据等到需要的时候再加载到内存。 阅读全文
摘要：
每个人都有的一本神坑笔记，python3 版，持续更新中。。。 阅读全文
摘要：
解决 tf.keras 在加载 cifar10 数据时的异常 ssl.SSLError: [SSL: DECRYPTION_FAILED_OR_BAD_RECORD_MAC] 阅读全文
摘要：
本文简单介绍了 Adam 优化器，并讨论一个问题：Adam 这个自适应学习率的优化器还有必要使用学习率衰减（learning rate decay）吗？ 阅读全文
摘要：
梯度下降法、最速下降法、牛顿法等迭代求解方法，都是在无约束的条件下使用的，而在有约束的问题中，直接使用这些梯度方法会有问题，如更新后的值不满足约束条件。如何处理有约束的优化问题？大致可以分为以下两种方式：
1. 将有约束的问题转化为无约束的问题，如拉格朗日乘子法和KKT条件；
2. 对无约束问题下的求解算法进行修改，使其能够运用在有约束的问题中，如对梯度下降法进行投影，使得更新后的值都满足约束条件。 阅读全文
摘要：
tf.keras 使用 tensorflow 中定义的 optimizer，同时如果使用 ReduceLROnPlateau() callbacks，会出现错误 AttributeError: 'TFOptimizer' object has no attribute 'lr'，通过 TFOptimizer 对 optimizer 进行一层包装即可解决这个问题。 阅读全文
摘要：
tf.keras 循环训练模型时内存溢出的问题，OOM 阅读全文
摘要：
本文介绍了如何将 PyTorch 中实现的 AlexNet 预训练模型加载到 tf.keras 中。tf.keras没有预训练好的AlexNet模型，如果我们想要在keras上用AlexNet来做迁移学习，要重新在ImageNet上跑一遍AlexNet代码？这是不现实的。其它深度学习框架，如 PyTorch，有在ImageNet上训练好的 AlexNet，我们将其它框架训练好的模型参数加载到keras中。但不同框架之间保存模型的文件有差异，需要进行一些操作。本文利用微软的开源工具 MMdnn，实现 AlexNet 模型的迁移。 阅读全文
摘要：
numpy 数组常用的读写方式和文件，第一种文件类型 txt 或 csv，第二种 npy 和 npz，第三种 hdf5。本文简单对比各种方法的优劣，并给出相应的简单例子。 阅读全文