摘要：
<!--done--> 爬虫实战 练习一 爬取校花网视频爬取汽车之家新闻资讯自动登录github 练习二 爬取拉钩，破解登录流程，筛选职位信息并自动投递简历 练习三 爬取京东商品信息，上传到亚马逊平台自营网店，完成亚马逊平台提交的订单自动完成京东平台的下单操作，赚取中间差价，数据可视化 练习四 破解 阅读全文
摘要：
<!--done--> 爬虫框架：scrapy 一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在 阅读全文
摘要：
<!--done--> 爬虫性能相关 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高 阅读全文
摘要：
MongoDB 一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“行“（ 阅读全文
摘要：
<!--end: blogStats --> <!--end: navigator 博客导航栏 --> <!--end: header 头部 --> <!--done--> Beautifulsoup模块 一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Pytho 阅读全文
摘要：
<!--end: blogStats --> <!--end: navigator 博客导航栏 --> <!--end: header 头部 --> <!--done--> selenium模块 一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接 阅读全文
摘要：
<!--end: blogStats --> <!--end: navigator 博客导航栏 --> <!--end: header 头部 --> <!--done--> requests模块 一 介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests 阅读全文