随笔分类 -  python / 数据采集

python多线程、线程池的实现
摘要：常规的爬虫 缺点： 耗时长、效率低、易崩溃 并发爬虫 原理 将整个爬虫程序分为cpu操作和IO操作两部分。cpu首先开始执行task，在遇到IO操作时，cpu会切换到另一个task开始执行，IO操作结束后，再通知cpu进行处理。由于IO操作读取内存、磁盘网络等不需要cpu的参与、两者可以同时进行，c 阅读全文
posted @ 2023-05-08 14:34 海燕心海 阅读(131) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示