摘要：
阅读目录 一 简介 二 登录微信 三 微信好友男女比例 四 微信好友地域分布 五 微信好友数据分析之词云 六 聊天机器人 一 简介 wxpy基于itchat，使用了 Web 微信的通讯协议，，通过大量接口优化提升了模块的易用性，并进行丰富的功能扩展。实现了微信登录、收发消息、搜索好友、数据统计等功能 阅读全文
摘要：
阅读目录案例一案例二案例三案例四案例五案例六案例七案例八 案例一 微信聊天机器人 数据可视化之pyecharts 案例二 爬取汽车之家新闻资讯自动登录github 案例三 爬取拉钩，破解登录流程，筛选职位信息并自动投递简历 案例四 爬取京东商品信息，上传到亚马逊平台自营网店，完成亚马逊平台提交的订单 阅读全文
摘要：
阅读目录一 介绍二、scrapy-redis组件 一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Sc 阅读全文
摘要：
阅读目录 一 介绍 二 安装 三 命令行工具 四 项目结构以及爬虫应用简介 五 Spiders 六 Selectors 七 Items 八 Item Pipeline 九 Dowloader Middeware 十 Spider Middleware 十一 自定义扩展 十二 settings.py 阅读全文
摘要：
阅读目录一 背景知识二 同步、异步、回调机制三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低 阅读全文
摘要：
阅读目录 一 简介 二 MongoDB基础知识 三 安装 四 基本数据类型 五 CRUD操作 六 可视化工具 七 pymongo 一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据 阅读全文
摘要：
阅读目录 一 介绍 二 基本使用 三 遍历文档树 四 搜索文档树 五 修改文档树 六 总结 一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小 阅读全文
摘要：
阅读目录 一 介绍 二 基于GET请求 三 基于POST请求 四 响应Response 五 高级用法 一 介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页 阅读全文
摘要：
阅读目录 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 一 爬虫是什么 #1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？ 互联网的核心价值在于数据的共 阅读全文
摘要：
目录第一篇：爬虫基本原理第二篇：请求库之requests，selenium第三篇：解析库之re、beautifulsoup、pyquery第四篇：存储库之mongodb，redis，mysql第五篇：爬虫高性能相关第六篇：Scrapy框架第七篇：分布式爬虫第八篇：爬虫实战推荐阅读 第一篇：爬虫基本原 阅读全文