2019年3月15日
scrapy框架之代理的使用
摘要： 首先我们检测ip是否可用: 1.对于免费代理的检测 #免费代理或不用密码的代理 url = 'http://httpbin.org/get' proxy = '127.0.0.0:8000' proxies = { 'http': 'http://' + proxy, 'https': 'https 阅读全文
posted @ 2019-03-15 15:51 sado 阅读(1444) 评论(0) 推荐(0) 编辑
爬虫之异步爬取加载数据
摘要： 什么是异步加载？ 向网站进行一次请求，一次只传部分数据。如：有些网页不需要点击下一页，其内容也可以源源不断地加载。如何发现异步加载？ 1、打开浏览器，右键选择“检查” 2、点击“Network”、“XHR” 这样在网页进行不断下拉的过程中，显示器会记录全部动作。可以看到不断加载新的页。如何加载异步数 阅读全文
posted @ 2019-03-15 14:38 sado 阅读(2930) 评论(0) 推荐(0) 编辑
爬虫之scrapy核心组件
摘要： Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associa 阅读全文
posted @ 2019-03-15 08:32 sado 阅读(148) 评论(0) 推荐(0) 编辑