06 2019 档案
摘要：本文简单介绍了 Adam 优化器，并讨论一个问题：Adam 这个自适应学习率的优化器还有必要使用学习率衰减（learning rate decay）吗？
阅读全文
摘要：梯度下降法、最速下降法、牛顿法等迭代求解方法，都是在无约束的条件下使用的，而在有约束的问题中，直接使用这些梯度方法会有问题，如更新后的值不满足约束条件。如何处理有约束的优化问题？大致可以分为以下两种方式：
1. 将有约束的问题转化为无约束的问题，如拉格朗日乘子法和KKT条件；
2. 对无约束问题下的求解算法进行修改，使其能够运用在有约束的问题中，如对梯度下降法进行投影，使得更新后的值都满足约束条件。
阅读全文
摘要：tf.keras 使用 tensorflow 中定义的 optimizer，同时如果使用 ReduceLROnPlateau() callbacks，会出现错误 AttributeError: 'TFOptimizer' object has no attribute 'lr'，通过 TFOptimizer 对 optimizer 进行一层包装即可解决这个问题。
阅读全文
摘要：tf.keras 循环训练模型时内存溢出的问题，OOM
阅读全文
