| | | |

2018年12月28日

摘要： scrapy基于twisted异步IO框架，downloader是多线程的。但是，由于python使用GIL（全局解释器锁，保证同时只有一个线程在使用解释器），这极大限制了并行性，在处理运算密集型程序的时候，Python的多线程效果很差，而如果开多个线程进行耗时的IO操作时，Python的多线程才能阅读全文

posted @ 2018-12-28 10:30 good_job 阅读(3666) 评论(0) 推荐(0) 编辑

2018年12月24日

pytube爬取youtube视频

摘要： pytube 有如下特色： 1. 它是 python 的一个轻量级库，不需要依赖第三方库，因此十分可靠 2. 允许选择下载视频的分辨率 3. 包含命令行工具，可以直接从终端下载视频 2. 安装 pip install pytube 3.库的使用阅读全文

posted @ 2018-12-24 11:28 good_job 阅读(2328) 评论(0) 推荐(0) 编辑