随笔分类 - 爬虫

微型scrapy

摘要：from twisted.web.client import getPage #模块功能：socket对象，自动完成移除 from twisted.internet import reactor #模块功能：事件循环（所有的socket对象都移除） from twisted.internet import defer #模块功能：defer.Deferred，特殊的socket... 阅读全文

posted @ 2018-08-17 16:48 心平万物顺阅读(108) 评论(0) 推荐(0) 编辑

自定义爬虫基本框架

摘要：class HttpRequest: def __init__(self,sk,host,callback): self.socket = sk self.host = host self.callback = callback def fileno(self): return self.socket.fileno(... 阅读全文

posted @ 2018-08-17 16:47 心平万物顺阅读(297) 评论(0) 推荐(0) 编辑

爬虫日记

摘要：2018/07/04 d91 爬虫入门一、爬虫 1.基本操作（自动投票、点赞） - 登陆任意网站（伪造浏览器的任何行为） 2.性能相关（多线程、进程） - 并发方案： - 异步IO：gevent/Twisted/asyncio/aiohttp #现在都采取这种 - 自定义异步IO模块 - IO多路阅读全文

posted @ 2018-08-02 23:45 心平万物顺阅读(494) 评论(0) 推荐(0) 编辑