摘要：
TestCase（测试用例）： 是unittest中最重要的一个类，用于编写测试用例类，是所有测试用例类的父类，实现了测试用例的基本代码 TestSuite（测试套件、测试集） 可以把对歌TestCase组织、打包集成到一个测试集中一起执行，TestSuite可以实现多个测试用例的执行。 TextT 阅读全文
摘要：
改成字符串,完美解决。哈哈哈哈 实例：'true','false' 阅读全文
摘要：
bookstoscrape 1 import scrapy 2 from spider_01_books.items import BookItem 3 4 class BookstoscrapeSpider(scrapy.Spider): 5 """爬虫类，继承spider""" 6 #爬虫名称- 阅读全文
摘要：
测试命令：scrapy shell http://books.toscrape.com/可以填写任何url 返回的这些对象我们可以直接去使用 例如验证自己的xpath编写是否正确。 阅读全文
摘要：
实例： class Request(url, callback=None,method='GET',headers= None,body=None,cookies=None, meta=None,encodings='utf-8',priority=0,dont_filter=False,errba 阅读全文
摘要：
安装：pip install scrapy -i https://pypi:tuna.tsinghua.edu.cn/simple 测试验证安装结果： 创建一个项目：在shell中使用scrapyard startproject name 使用pycharm工具打开 1.scrapy.cfg ：sc 阅读全文
摘要：
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2022/1/18 20:51# @Author : Lhtester# @Site : # @File : 灰度化.py# @Software: PyCharmimport pytesser 阅读全文
摘要：
1.模拟用户操作获取数据 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2021/12/2 21:10 # @Author : Lhtester # @Site : # @File : 爬取京东商品.py # @Software: P 阅读全文
摘要：
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2021/11/30 21:15 # @Author : Lhtester # @Site : # @File : try.py # @Software: PyCharm from sel 阅读全文
摘要：
总结思路: 1.循环遍历得到所有的URL 2.使用线程池发送所有的请求，获取响应。 3.在2的响应字符串中使用json.loads()方法转换为字典后提取需要的数据信息。 4.将信息数据保存到MongoDB中 注释：mongoDB需要开通外网访问。默认只有本地访问。 #!/usr/bin/env p 阅读全文