2019 年 6月 3 日随笔档案 - 沧猿

2019年6月3日

摘要： 1.anaconda3安装 wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh 安装报错，可能是源的问题直接在windows上下载anaconda3包，然后rz到centos上地址：https://ww 阅读全文

posted @ 2019-06-03 20:38 沧猿阅读(610) 评论(0) 推荐(0) 编辑

scrapy架构流程

摘要： 1.爬虫spiders将请求通过引擎传递给调度器scheduler 2.scheduler有个请求队列，在请求队列中拿出请求给下载器，downloader 3.downloader从Internet的服务器端请求数据，下载下来 4.下载下来的响应体交还给我们自己写的spiders，对响应体做相应的处阅读全文

posted @ 2019-06-03 13:43 沧猿阅读(213) 评论(0) 推荐(0) 编辑