biyeee

摘要： 今天用scrapy-redis尝试了分布式爬虫，当爬虫结束后你会发现程序不会中断，而是一直在挂起，找了很多地方，一直以为是代码的问题。最后想到分布式爬虫是不断从redis获取爬取的链接，当redis为空时，scrapy只会等待获取redis新的链接，而不会中断程序，故该程序是会不断的运行而不会停止。 阅读全文

摘要： 仅限python3 今天在用到lxml库时遇到了这样一个问题 在用到xml获取到的数字数据想进一步处理，遇到了这个问题。百度了一遍答案千篇一律的说是编码问题。 想了很久尝试了下直接用强制转化居然可以用。 将上面的错误代码改为： 就ok了。 实际上就是直接加入你想转换的数据类 阅读全文

摘要： 上传github遇到的小问题 阅读全文

摘要： 基于scrapy框架的智联招聘爬虫 阅读全文