2018 年 10月 1 日随笔档案 - Eric_nan

2018年10月1日

摘要： scrapy 一、scrapy框架 - Twisted使用 1、知道 reactor 、getPage、defer 作用： 2、利用twisted实现并发，步骤： 1、利用getPage创建socket： 2、此时，只是创建了socket，以及构造了回调函数，还没将socket添加到事件循环中去，做阅读全文

posted @ 2018-10-01 01:44 Eric_nan 阅读(124) 评论(0) 推荐(0) 编辑

Scrapy 学习笔记（-）

摘要： Scrapy Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Se 阅读全文

posted @ 2018-10-01 00:00 Eric_nan 阅读(136) 评论(0) 推荐(0) 编辑