摘要: 第一篇:爬虫基本原理 第二篇:请求库之requests,selenium 第三篇:解析库之re、beautifulsoup、pyquery 第四篇:存储库之mongodb,redis,mysql 第五篇:爬虫高性能相关 第六篇:Scrapy框架 阅读全文
posted @ 2018-01-23 19:40 eric_yi 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 目录: 一 介绍 二 安装 三 命令集 四 项目结构以及应用 五 Spiders 一 介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监 阅读全文
posted @ 2018-01-23 19:03 eric_yi 阅读(216) 评论(0) 推荐(0) 编辑