摘要: 4. Spiders的使用 在Scrapy中,要抓取网站的链接配置、抓取逻辑、解析逻辑里其实都是在Spider中配置的。 Spider要做的事就是有两件:定义抓取网站的动作和解析爬取下来的网页。 4.1 Spider运行流程: 整个抓取循环过程如下所述: 以初始的URL初始化Request,并设置回 阅读全文
posted @ 2021-06-24 15:54 测试小能手1 阅读(467) 评论(0) 推荐(0) 编辑
摘要: unittest相关内容 一、什么是unittest unittest是Python单元测试框架,类似于JUnit框架。 unittest中有4个重要的概念:test fixture, test case, test suite, test runner Testcase: 一个TestCase的实 阅读全文
posted @ 2021-06-24 11:28 测试小能手1 阅读(50) 评论(0) 推荐(0) 编辑