摘要: 在学习scrapy进行爬虫的过程中,遇到了很多问题,查阅了很多不错的资料,在此和大家分享一下~~ scrapy教程http://blog.csdn.net/u012150179/article/category/2345511 Scrapy中文文档 http://scrapy-chs.readthe 阅读全文
posted @ 2016-03-16 12:18 dwef 阅读(342) 评论(0) 推荐(0) 编辑
摘要: 最近在学习中,需要用spark读取mysql数据,查阅了很多资料大多是java版本的,自己琢磨了半天,研究出python版本的,本人菜鸟,本博客只会记录学习过程,如有不妥请见谅。所用spark版本为1.4.1. 先上自己找到了一些相关资料,仅供参考~~~ http://www.thebigdata. 阅读全文
posted @ 2016-03-16 11:58 dwef 阅读(5258) 评论(0) 推荐(2) 编辑