摘要：
说起MySQL的查询优化，相信大家积累一堆技巧：不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型..... 你是否真的理解这些优化技巧？是否理解其背后的工作原理？在实际场景下性能真有提升吗？我想未必。因而理解这些优化建议背后的原理就尤为重要，希望本文能让你重新审视 阅读全文
摘要：
生产者-消费者模型 是多线程同步的经典案例。 此模型中生产者向缓冲区 push 数据，消费者从缓冲区中 pull 数据。这个 Demo 中缓冲区用 python 实现的 Queue 来做， 这个模块是线程安全的使开发者不用再为队列增加额外的互斥锁.信号处理的实现是这样的：1）主线程接到一个 SIGT 阅读全文
摘要：
爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内 阅读全文