摘要：
今日概要 scrapy下载中间件 UA池 代理池 今日详情 一.下载中间件 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Age
阅读全文
posted @ 2019-03-16 15:59
sunny-cheng
阅读(231)
推荐(0)
编辑
摘要：
分布式爬虫 分布式爬虫 一.redis简单回顾 1.启动redis： mac/linux: redis-server redis.conf windows: redis-server.exe redis-windows.conf 2.对redis配置文件进行配置： - 注释该行：bind 127.0
阅读全文
posted @ 2019-03-16 15:59
sunny-cheng
阅读(168)
推荐(0)
编辑
摘要：
selenium在scrapy中的应用阅读量: 370 1 selenium在scrapy中的应用阅读量: 370 1 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但
阅读全文
posted @ 2019-03-16 15:58
sunny-cheng
阅读(216)
推荐(0)
编辑
摘要：
提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 CrawlSpider 一.简介 C
阅读全文
posted @ 2019-03-16 15:57
sunny-cheng
阅读(215)
推荐(0)
编辑
摘要：
今日概要 日志等级 请求传参 今日详情 一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBU
阅读全文
posted @ 2019-03-16 15:56
sunny-cheng
阅读(244)
推荐(0)
编辑
摘要：
今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 2.基于管道的持久化存储 scrapy框架中已经为我们专门
阅读全文
posted @ 2019-03-16 15:54
sunny-cheng
阅读(197)
推荐(0)
编辑
摘要：
今日概要 递归爬取解析多页页面数据 scrapy核心组件工作流程 scrapy的post请求发送 今日详情 1.递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发
阅读全文
posted @ 2019-03-16 15:54
sunny-cheng
阅读(152)
推荐(0)
编辑
摘要：
scrapy框架简介和基础应用阅读量: 1432 scrapy scrapy框架简介和基础应用阅读量: 1432 scrapy 今日概要 scrapy框架介绍 环境安装 基础使用 今日详情 一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强
阅读全文
posted @ 2019-03-16 15:53
sunny-cheng
阅读(221)
推荐(0)
编辑
摘要：
selenuim和phantonJs处理网页动态加载数据的爬取阅读量: 1203 动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*
阅读全文
posted @ 2019-03-16 15:52
sunny-cheng
阅读(248)
推荐(0)
编辑
摘要：
数据解析三种方式 数据解析三种方式 引言：回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，
阅读全文
posted @ 2019-03-16 15:50
sunny-cheng
阅读(209)
推荐(0)
编辑
摘要：
代理和cookie操作 代理和cookie操作 一.基于requests模块的cookie操作 引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： #!/usr/bin/en
阅读全文
posted @ 2019-03-16 15:50
sunny-cheng
阅读(293)
推荐(0)
编辑
摘要：
requests模块 - 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用requests模块 因为在使用
阅读全文
posted @ 2019-03-16 15:49
sunny-cheng
阅读(195)
推荐(0)
编辑
摘要：
一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u
阅读全文
posted @ 2019-03-16 15:47
sunny-cheng
阅读(217)
推荐(0)
编辑
摘要：
一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u
阅读全文
posted @ 2019-03-16 15:44
sunny-cheng
阅读(607)
推荐(0)
编辑
