2021年6月10日

Python异步Request操作: aiohttp

摘要: 目录 1. Tutorial 2. 其他库推荐 2.1. aiohttp-requests 2.2. aiofiles 2.3. grequests 3. 问题记录 3.1. Multipart.FormData 示例 3.2. with open("xxx") 会被自动关闭 3.3. filena 阅读全文

posted @ 2021-06-10 15:33 ExplorerMan 阅读(535) 评论(0) 推荐(0) 编辑

小白爬虫第四弹之爬虫快跑(多进程 + 多线程)

摘要: PS:使用多线程时好像在目录切换的问题上存在问题,可以给线程加个锁试试 Hello 大家好!我又来了。你是不是发现下载图片速度特别慢、难以忍受啊!对于这种问题 一般解决办法就是多进程了!一个进程速度慢!我就用十个进程,相当于十个人一起干。速度就会快很多啦!(为什么不说多线程?懂点 Python 的小 阅读全文

posted @ 2021-06-10 15:25 ExplorerMan 阅读(194) 评论(0) 推荐(0) 编辑

python 爬虫之requests模块设置代理

摘要: 文章目录为什么设置代理?设置代理常用获取代理IP地址测试IP地址可用性为什么设置代理?我们都知道上网连接到互联网时会有一个【ip】地址。 而网站都有请求的临界点,当我们对一个网站发起多次请求时,网站发现请求次数超过了临界点,就会自动屏蔽掉我们的【ip】,这时就再也无法访问此网站了。 这就是基础的一种 阅读全文

posted @ 2021-06-10 14:33 ExplorerMan 阅读(1443) 评论(0) 推荐(0) 编辑

导航