随笔分类 - 爬虫入门到实战
摘要：scrapy-redis组件 可以帮你保存任务和过滤url redis 数据库 安装 python连接 安装模块
阅读全文
摘要：一介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Ass
阅读全文
摘要：一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1. 易用性 2. 易扩展性 3. 丰富的功能 4. 卓越的性能 二 MongoDB基础知识 1. 文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','foo':3}。类似于python中的有序字
阅读全文
摘要：brew简介安装 brew 又叫Homebrew，是Mac OSX上的软件包管理工具，能在Mac中方便的安装软件或者卸载软件， 只需要一个命令， 非常方便 brew类似ubuntu系统下的apt-get的功能 1. 安装brew brew 的官方网站： http://brew.sh/ 在官方网站对b
阅读全文
摘要：一背景常识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高，之所以爬虫程序的串行低效，是因为爬虫程
阅读全文
摘要：一介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful
阅读全文
摘要：一介绍 二安装 #安装：selenium+chromedriver windows 安装 pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2.29，并非2.9 下载链接：http://npm.taobao
阅读全文
摘要：一爬虫是什么 二爬虫基本流程 发送请求 》获取响应内容 》解析内容 》保存数据 三请求与响应 客户端 》服务器 request 服务器 》客户端 response 四request 五response 六总结 ####抓取校花网视频下载 import requests import re impor
阅读全文
摘要：一介绍requests模块 二 基于GET请求 1. 基本请求 2. 带参数的基本get请求>>params, 编码问题 3. 带参数的基本get请求>>headers 4. 带参数的基本get请求>>cookies 三 基于post请求 1. 介绍 2. 发送post请求，模拟浏览器登陆行为 ''
阅读全文
