2017年6月4日
scrapy跟pyspider的杂谈
摘要： 最近有一个私人项目要搞，可能最近的博客都会变成爬虫跟数据分析类的了。既然是爬虫，第一反应想到的就是鼎鼎大名的scrapy了，其次想到的pyspider，最后想到的就是自己写。 scrapy是封装了twisted的一个爬虫框架，项目结构比较清晰 其中Item Pipeline决定了数据传输跟保存的结构 阅读全文
posted @ 2017-06-04 21:22 李雷雷alexkn 阅读(9340) 评论(1) 推荐(1) 编辑