zhang_derek

1.numpy的用法

摘要： numpy创建ndarray对象的三种方法 1.1.list转化 1.2.numpy内的函数生存 1.3.文件生存 01.csv文件如下使用numpy的loadtxt方法打开第一个参数：文件名 delimiter:以什么分隔 skiprows:跳过的行 usecols:使用哪几列 unpack: 阅读全文

posted @ 2018-08-07 15:27 zhang_derek 阅读(841) 评论(0) 推荐(0) 编辑

21天打造分布式爬虫-简书整站爬取（十）

摘要： 10.1.简书整站爬虫创建项目 jianshu_spider.py items.py pipelines.py middlewares.py settings.py start.py 阅读全文

posted @ 2018-08-06 17:19 zhang_derek 阅读(1030) 评论(1) 推荐(0) 编辑

21天打造分布式爬虫-下载汽车之家图片（九）

摘要： 9.1.下载汽车之家图片新建项目 bmx5.py items.py pipelines.py 自定义保存图片的路劲 settings.py start.py 结果阅读全文

posted @ 2018-08-05 17:00 zhang_derek 阅读(968) 评论(0) 推荐(0) 编辑

21天打造分布式爬虫-Crawl类爬取小程序社区（八）

摘要： 8.1.Crawl的用法实战新建项目 wxapp_spider.py items.py pipelines.py settings.py start.py 阅读全文

posted @ 2018-08-05 13:09 zhang_derek 阅读(929) 评论(0) 推荐(0) 编辑

21天打造分布式爬虫-Spider类爬取糗事百科（七）

摘要： 7.1.糗事百科安装 pip install pypiwin32 pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl pip install scrapy 创建和运行项目代码 qsbk_spider.py item.py pipelines.p 阅读全文

posted @ 2018-08-05 00:15 zhang_derek 阅读(806) 评论(0) 推荐(0) 编辑

21天打造分布式爬虫-Selenium爬取拉钩职位信息（六）

摘要： 6.1.爬取第一页的职位信息第一页职位信息 6.2.爬取所有页的职位信息阅读全文

posted @ 2018-08-03 23:20 zhang_derek 阅读(1200) 评论(0) 推荐(0) 编辑

21天打造分布式爬虫-多线程下载表情包（五）

摘要： 5.1.threading模块简单使用 5.2.生产者和消费者 Lock模式的生产者和消费者 5.3.下载表情包网址：http://www.doutula.com/photo/list/?page=1 解析：xpath 不用多线程，速度相对会很慢利用多线程 main() 定义两个队列，和创建多阅读全文

posted @ 2018-08-03 01:58 zhang_derek 阅读(1070) 评论(1) 推荐(1) 编辑

21天打造分布式爬虫-中国天气网和古诗文网实战（四）

摘要： 4.1.中国天气网网址：http://www.weather.com.cn/textFC/hb.shtml 解析：BeautifulSoup4 爬取所有城市的最低天气对爬取的数据进行可视化处理按温度对城市进行排名取前10个生成直方图代码：结果： 4.2.古诗文网网址：https:// 阅读全文

posted @ 2018-08-01 20:39 zhang_derek 阅读(1374) 评论(0) 推荐(0) 编辑

21天打造分布式爬虫-豆瓣电影和电影天堂实战（三）

摘要： 3.1.豆瓣电影使用lxml 3.2.电影天堂使用lxml 阅读全文

posted @ 2018-07-31 19:30 zhang_derek 阅读(1169) 评论(0) 推荐(0) 编辑

21天打造分布式爬虫-requests库（二）

摘要： 2.1.get请求简单使用添加headers和params 2.2.POST请求爬去拉钩网职位信息 2.3.使用代理 2.4.session登录阅读全文

posted @ 2018-07-28 20:30 zhang_derek 阅读(1222) 评论(0) 推荐(0) 编辑