07 2023 档案
scrapy-redis 用法举例 解析
摘要：Scrapy-Redis 是 Scrapy 的一个插件，它可以让 Scrapy 支持分布式爬虫。Scrapy-Redis 通过 Redis 来实现分布式爬虫的任务队列和爬取结果数据的存储，从而提高爬虫的效率和稳定性。 scrapy-redis 是一个用于将 Scrapy 分布式爬虫与 Redis 数
阅读全文
scrapy用法举例 （Scrapy爬取豆瓣电影Top250）
摘要：Scrapy是一个Python的爬虫框架，用于快速开发和部署Web爬虫。它提供了一套完整的爬虫工具，包括爬虫的调度、数据下载、数据处理和存储等功能，同时也支持多线程、分布式和异步IO等高级特性。以下是Scrapy的用法介绍： 1.安装Scrapy Scrapy可以通过pip安装，命令如下： pip
阅读全文
反反爬策略（python举例）
摘要：以下是一些Python常用的反反爬策略： User-Agent伪装： import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, lik
阅读全文
函数：随机生成User-Agent 字符串，用于模拟不同的浏览器和操作系统类型，增加爬虫的隐蔽性
摘要：1 def get_ua(self): 2 first_num = random.randint(99, 103) 3 third_num = random.randint(0, 5060) 4 fourth_num = random.randint(0, 140) 5 os_type = ['(W
阅读全文
