2019年5月4日
每周分享第5期(2019.5.4)
摘要： 这周开始，我会在博客开始一个专栏。AMAD -- a module a day.每天发布一篇关于第三方模块的博客，可以是python pypi的第三方模块，也可以是npm的第三方模块.工具tldr -- 一个社区驱动的man pages应用.man太啰嗦，没有高亮.dash这种软件需要收费.现在，有一个社区版的文档手册查询软件，使用命令行就能查询到各种手册。并且支持重点高亮.httpie -- 一... 阅读全文
posted @ 2019-05-04 18:35 thomaszdxsn 阅读(72) 评论(0) 推荐(0) 编辑
如何为Redis中list中的项设置过期时间
摘要： 问题两种解决方法有序集合多个集合以及TTLRedis是一个伟大的工具，用来在内存中存储列表是很合适的。不过，如果你想要快速搜索列表，同时需要让列表中每项都在一定时间后过期，应该怎么做呢？首先，当然不能使用不同的类似的key存储数据，然后使用keys命令来获取所有类似key的数据。这样的开销是不可接受的。Redis并没有直接提供方法做这件事，但是这是可以做到的！虽然最后用的未必是Redis的List... 阅读全文
posted @ 2019-05-04 03:28 thomaszdxsn 阅读(11589) 评论(0) 推荐(0) 编辑
对scrapy进行单元测试 -- 使用betamax
摘要： 对于scrapy的单元测试，官方文档并没有提到，只是说有一个Contract功能。但是相信我，这个东西真的不好用，甚至scrapy的作者在一个issue中都说到希望删去这个功能。 阅读全文
posted @ 2019-05-04 02:09 thomaszdxsn 阅读(1308) 评论(0) 推荐(0) 编辑
【AMAD】betamax -- 一个ruby-VCR的模仿品，只支持requests
摘要： betamax会记录你的HTTP操作，可以让你在测试的时候不必重复进行真实的请求。 阅读全文
posted @ 2019-05-04 01:42 thomaszdxsn 阅读(392) 评论(0) 推荐(0) 编辑
2019年5月3日
【AMAD】stackprint -- 为Python加入利于调试的traceback信息
摘要： 为Python加入利于调试的traceback信息。 阅读全文
posted @ 2019-05-03 03:29 thomaszdxsn 阅读(251) 评论(0) 推荐(0) 编辑
2019年5月2日
【AMAD】Pysnooper -- 别再用print进行debug了
摘要： Pysnoopy是低配版debugger，别再用print进行debug了。 阅读全文
posted @ 2019-05-02 23:04 thomaszdxsn 阅读(225) 评论(0) 推荐(0) 编辑
2019年4月28日
requests使用retry策略
摘要： 在urllib3中使用retry在requests中使用retry网络请求往往会有很多不受控制的意外情况发生，有时候我们要让它let it crash，有时候我们想多尝试几次。以前，使用retry策略，我一般会使用tenacity1这个第三方库。这个库的API相当得漂亮，很多大V也推荐过。最近，我看了一篇文章2，是requests的作者之一写的。他告诉我们，requests原生就支持retry。在... 阅读全文
posted @ 2019-04-28 04:46 thomaszdxsn 阅读(2547) 评论(0) 推荐(0) 编辑
为什么要使用`QuerySet.iterator()`
摘要： 用django的custom command功能，写了一个脚本，目的是修正生成环境的数据，tqdm告诉我运行时长预估是2小时。一个小时后，正在吃午饭的我，接到了很多微信推送。客户告诉我服务不可用，同事告诉我服务器挂掉了。赶紧重启了uwsgi，一切又正常了。到底是什么原因呢？我不管，重新启动脚本，然后去吃饭。回来以后，我发现内存占用率已经达到了80%！其中大多数是那个脚本造成的，赶紧把它停下！万能的... 阅读全文
posted @ 2019-04-28 04:33 thomaszdxsn 阅读(269) 评论(0) 推荐(0) 编辑
2019年4月27日
每周分享第4期(2019.4.27)
摘要： 文章如何在代码变更之后，自动重启celery使用watchdog，可以监控你的文件，使用watchmedo命令，可以在文件变更后重启celery。Javascript中的多参数函数应该怎么定义作者介绍了几乎所有的办法.然后推荐使用ramda库的converge()函数. 阅读全文
posted @ 2019-04-27 15:45 thomaszdxsn 阅读(91) 评论(0) 推荐(0) 编辑
2019年4月24日
什么时候Python的List，Tuple最后一个Item后面要加上一个逗号
摘要： 为什么看Python的代码，有时候会在数据结构的最后一项末尾加上逗号。直接来看，这个逗号很多余。根据PEP81的解释：Trailing commas are usually optional, except they are mandatory when making a tuple of one element这里说末尾逗号不是必填的，除非你写了一个只有一个元素的元祖。所以这么多人写的代码风格都... 阅读全文
posted @ 2019-04-24 07:10 thomaszdxsn 阅读(1265) 评论(0) 推荐(0) 编辑