摘要：
<script type="text/javascript"> var x = 1; var y = 0; var z = 0; function add(n){n=n+1;} y = add(x); function add(n){n=n+3;} z = add(x); s=y+z; </scri 阅读全文
摘要：
速度问题 最近工作中遇到这么一个问题，全站抓取时采用分布式：爬虫A与爬虫B，爬虫A给爬虫B喂饼，爬虫B由于各种原因运行的比较慢，达不到预期效果，所以必须对爬虫B进行优化。 提升Scrapy运行速度有很多方法，国外有大佬说过 Speed up web scraper Here's a collecti 阅读全文