摘要: Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。 Scrapy囊括了爬取网站数据几乎所有的功能,是一个扩展性很强的一个框架,Scrapy在爬虫界里相当于web的Django Scrapy 使用了 Twi 阅读全文
posted @ 2018-07-06 17:24 R00M 阅读(366) 评论(0) 推荐(0) 编辑
摘要: Selenium的使用 #!/usr/bin/env python # -*- coding:utf-8 -*- """ Selenium是一个第三方模块,可以完全模拟用户在浏览器上操作(在浏览器上点点点)。 安装: pip3 install selenium 优缺点: 优:无需再自己操作cooki 阅读全文
posted @ 2018-07-06 15:15 R00M 阅读(306) 评论(0) 推荐(0) 编辑