单线程与多线程爬虫

合集 - python爬虫(26)

1.使用urllib爬取百度搜索html2024-09-122.urllib.request.Request对象封装请求2024-09-123.urllib发送get请求_中文传参问题2024-09-124.urllib发送post请求获取html源代码2024-09-145.获取动态页面html2024-09-156.忽略SSL证书验证2024-09-157.使用fake-useragent库伪装请求头2024-09-158.urllib自定义opener对象设置代理IP2024-09-169.爬虫cookie的使用2024-09-1710.保存与读取cookie2024-09-1811.使用urllib.error进行请求异常处理2024-09-1812.使用requests库发送get和post请求2024-09-2113.使用Request伪装User-Agent和IP地址2024-09-2214.requests设置超时时间/requests.Session自动保存cookie/verify忽略ssl证书2024-09-2315.re模块的正则表达式规则2024-09-2516.使用re的正则表达式提取腾讯体育新闻摘要2024-09-2617.BeautifulSoup4解析数据2024-09-2618.bs4.find_all()搜索文档树和css选择器提取解析后的html数据2024-09-2819.bs4解析并提取人民网新闻标题数据2024-09-2820.xpath解析数据2024-09-2921.谷歌浏览器的xpath插件安装2024-09-3022.使用re和lxml的xpath功能提取纵横中文网小说推荐榜前3页标题2024-10-0323.JSON数据2024-10-0324.使用jsonpath快速提取json的数据2024-10-0425.提取猫眼电影正在热映电影以及评分2024-10-09

26.单线程与多线程爬虫2024-10-14

收起

单线程爬虫

在执行爬取任务时，程序一次只处理一个任务。这意味着在一个时刻，它只能向一个服务器发送请求，并等待该请求的响应。完成这个请求后，它才会发送下一个请求。单线程爬虫的结构简单，易于理解和实现，但效率较低，特别是在网络延迟较大或需要处理大量数据时。

爬虫多为IO密集型程序，而IO处理速度并不是很快，如果IO卡顿会直接影响速度。

多线程爬虫

多线程爬虫是指程序可以同时运行多个线程，每个线程可以独立地向服务器发送请求。这样，爬虫可以在等待一个请求的同时，发送其它请求，从而显著提升爬取效率。多线程爬虫特别适合于网络延迟较大或需要同时处理多个数据源的情况。

提升爬虫效率的其它方法

1. 异步IO（异步编程）：不同于多线程，异步IO允许程序在等待一个请求响应时，继续执行其它代码，而不是简单地等待。这种方式可以更高效的利用CPU资源。
2. 并发连接数控制：可以避免并发连接对服务器造成过大压力同时保证爬虫效率。
3. 代理池：避免IP被封禁的问题，同时可以提高爬取速度和稳定性。
4. 分布式爬虫：将爬虫部署在多个服务器上，可以并行处理大量数据，适用于大规模数据抓取。

需要掌握

1. python基础：熟悉python语言，特别是函数、类和模块的使用。
2. 网络请求：了解HTTP协议，掌握用urllib，requests发送网络请求。
3. 多线程编程：学习python的threading模块，了解线程的创建、同步和管理。
4. 异步编程：了解asyncio库，掌握异步IO编程模式。
5. 代理和IP池：了解如何管理和使用代理IP
6. 反爬虫策略应对