摘要： Scrapy架构介绍 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可 阅读全文

摘要： selenium介绍 由于requests模块不能执行js，有的页面内容，我们在浏览器中可以看到，但是请求下来没有。 selenium模块：模拟操作浏览器，完成人的行为。 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏 阅读全文