摘要:
4. Spiders的使用 在Scrapy中,要抓取网站的链接配置、抓取逻辑、解析逻辑里其实都是在Spider中配置的。 Spider要做的事就是有两件:定义抓取网站的动作和解析爬取下来的网页。 4.1 Spider运行流程: 整个抓取循环过程如下所述: 以初始的URL初始化Request,并设置回 阅读全文
摘要:
unittest相关内容 一、什么是unittest unittest是Python单元测试框架,类似于JUnit框架。 unittest中有4个重要的概念:test fixture, test case, test suite, test runner Testcase: 一个TestCase的实 阅读全文