摘要:
1.开发伊始 根据源码中RequestHandler类中发现__init__函数中会调用自身initialize函数,此函数中为pass,即可以围绕initialize开发一系列的组件 2.开发实现 通过继承实现接口initialize的重写 3.具体代码与实现过程 1)接口 2)session 3 阅读全文
摘要:
1.调度器 利用队列实现调度器功能 2.引擎 3.爬虫对象 4.爬虫进程 爬虫的实例化,和爬取工作的开启 5.Request 用于存储爬虫每一个url与其对应的处理函数。 6.main 7.spider 爬虫类格式,parse为回调函数,后续还能继续添加回调函数 阅读全文