摘要：
在前面两篇文章中，我们用一个框架梳理了各大优化算法，并且指出了以Adam为代表的自适应学习率优化算法可能存在的问题。那么，在实践中我们应该如何选择呢？ 本文介绍Adam+SGD的组合策略，以及一些比较有用的tricks. 回顾前文： Adam那么棒，为什么还对SGD念念不忘 (1) Adam那么棒， 阅读全文
摘要：
Adam那么棒，为什么还对SGD念念不忘 (1) —— 一个框架看懂优化算法 机器学习界有一群炼丹师，他们每天的日常是： 拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万 阅读全文
摘要：
在上篇文章中，我们用一个框架来回顾了主流的深度学习优化算法。可以看到，一代又一代的研究者们为了我们能炼（xun）好（hao）金（mo）丹（xing）可谓是煞费苦心。从理论上看，一代更比一代完善，Adam/Nadam已经登峰造极了，为什么大家还是不忘初心SGD呢？ 举个栗子。很多年以前，摄影离普罗大众 阅读全文
摘要：
torch.optim是一个实现了多种优化算法的包，大多数通用的方法都已支持，提供了丰富的接口调用，未来更多精炼的优化算法也将整合进来。 为了使用torch.optim，需先构造一个优化器对象Optimizer，用来保存当前的状态，并能够根据计算得到的梯度来更新参数。 要构建一个优化器optimiz 阅读全文
摘要：
阅读目录 1. 先来看两个例子 2. python虚拟机机制如何控制代码执行？ 3. python多线程究竟有没有用? 4. python多进程执行原理 阅读目录 1. 先来看两个例子 2. python虚拟机机制如何控制代码执行？ 3. python多线程究竟有没有用? 4. python多进程执 阅读全文
摘要：
Python多线程（3）——Queue模块 Queue模块支持先进先出（FIFO）队列，支持多线程的访问，包括一个主要的类型（Queue）和两个异常类（exception classes）。 Python 2 中的Queue模块在Python 3中更名为 queue。 Queue对象的创建 可以通过 阅读全文
摘要：
算法基本原理：假设我们可以使用d[ i , j ]个步骤（可以使用一个二维数组保存这个值），表示将串s[ 1…i ] 转换为 串t [ 1…j ]所需要的最少步骤个数，那么，在最基本的情况下，即在i等于0时，也就是说串s为空，那么对应的d[0,j] 就是 增加j个字符，使得s转化为t，在j等于0时， 阅读全文
摘要：
一、问题描述定义字符串编辑距离（Edit Distance），是俄罗斯科学家 Vladimir Levenshtein 在 1965 年提出的概念，又称 Levenshtein 距离，是指两个字符串之间，由一个转变成另一个所需的最少编辑操作次数。许可的编辑操作包括： 将一个字符替换成另一个字符插入一 阅读全文