python3+Scrapy爬虫使用pipeline数据保存到文本和数据库，数据少或者数据重复问题
摘要：爬取的数据结果是没有错的，但是在保存数据的时候出错了，出现重复数据或者数据少问题。那为什么会造成这种结果呢？ 其原因是由于Spider的速率比较快，而scapy操作数据库操作比较慢，导致pipeline中的方法调用较慢，这样当一个变量正在处理的时候，一个新的变量过来，之前的变量的值就会被覆盖。 就比
阅读全文
摘要：描述 enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。 Python 2.3. 以上版本可用，2.6 添加 start 参数。 语法 以下是 enumerate() 方法的语法: 参数 sequen
阅读全文
摘要：cd /tmp/abc/ab mv a.txt a.txt.bak mv a.txt.new a.txt chmod 777 a.txt 等价于 cd /tmp/abc/ab && mv a.txt a.txt.bak && mv a.txt.new a.txt && chmod 777 a.txt
阅读全文
