摘要：
1，虚拟环境相关命令 创建虚拟环境：mkvirtualenv name 查看虚拟环境：lsvirtualenv 安装模块：pip install packagename==2.0.2 -i https://pypi.tuna.tsinghua.edu.cn/simple/ 卸载模块：pip unin 阅读全文
摘要：
1·scrapy实现多页的爬取 多页爬取的思路： 1，在start_urls中构建url的列表。逐一请求 2，定义一个page属性，利用if判断来实现多页 3，获取下一页实现多页，此种方式是比较灵活的。 2 深度爬取 1，深度爬取：从列表页到详情页，甚至是更后续的页面的数据的获取 2，深度爬虫: 通 阅读全文
摘要：
1 scrapy框架初始 1，scrapy框架的介绍 scrapy是基于Twisted异步框架的爬虫框架, scrapy也是异步的. # 优点: 1.爬取效率高 2.组件化, 适合开发大型的爬虫 2 安装与配置 lxml, pywin32, wheel, Twisted, scrapy # 本地安装 阅读全文