会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
qyly
作品集
博客园
首页
新随笔
联系
订阅
管理
随笔 - 39
文章 - 1
评论 - 0
阅读 -
3533
2024年10月14日
单线程与多线程爬虫
摘要: 单线程爬虫 在执行爬取任务时,程序一次只处理一个任务。这意味着在一个时刻,它只能向一个服务器发送请求,并等待该请求的响应。完成这个请求后,它才会发送下一个请求。单线程爬虫的结构简单,易于理解和实现,但效率较低,特别是在网络延迟较大或需要处理大量数据时。 爬虫多为IO密集型程序,而IO处理速度并不是很
阅读全文
posted @ 2024-10-14 23:49 松鼠q
阅读(10)
评论(0)
推荐(0)
编辑
公告
昵称:
松鼠q
园龄:
4年5个月
粉丝:
1
关注:
0
+加关注
<
2025年3月
>
日
一
二
三
四
五
六
23
24
25
26
27
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
合集
(3)
python爬虫(26)
八爪鱼采集器爬虫(1)
提示词(3)
随笔分类
(5)
Markdown(5)
随笔档案
(39)
2024年11月(2)
2024年10月(7)
2024年9月(30)
文章档案
(1)
2024年9月(1)
阅读排行榜
1. 谷歌浏览器的xpath插件安装(1259)
2. 在win10安装和使用wsl(454)
3. 下载安装八爪鱼采集器与数据的简单采集(277)
4. 讯飞星火大语言模型,2024-09-21,什么是提示词(prompt)?(182)
5. 文心大模型4.0 Turbo,2024-09-21,什么是提示工程(prompt engineering)?(138)
点击右上角即可分享