2017 年 3月 15 日随笔档案 - 雷子-LL

2017年3月15日

摘要： CookieMiddleware class scrapy.downloadermiddlewares.cookies.CookieMiddlewar 该中间件使得爬取需要cookie(例如使用session)的网站成为了可能。其追踪了web server发送的cookie，并在之后的reques 阅读全文

posted @ 2017-03-15 02:46 雷子-LL 阅读(2452) 评论(0) 推荐(0) 编辑

Scrapy框架--Requests对象

摘要： Scrapy使用request对象来爬取web站点。 request对象由spiders对象产生，经由Scheduler传送到Downloader,Downloader执行request并返回response给spiders。 Scrapy架构： 1、Request objects class sc 阅读全文

posted @ 2017-03-15 01:11 雷子-LL 阅读(26257) 评论(3) 推荐(1) 编辑