随笔分类 -  python爬虫相关

python 利用redis实现增量式爬虫
摘要：一.增量式爬虫 概念：通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。 如何进行增量式的爬取工作： 在发送请求之前判断这个URL是不是之前爬取过 在解析内容后判断这部分内容是不是之前爬取过 写入存储介质时判断内容是不是已经在介质中存在 分析： 不难发现，其实增量爬取的核心是 阅读全文
posted @ 2019-05-28 14:12 姜浩 阅读(1084) 评论(0) 推荐(0)
Python网络爬虫之Scrapy框架（CrawlSpider）
摘要：一。CrawlSpider简介 二。CrawlSpider使用 1.创建scrapy工程：scrapy startproject projectName 2.创建爬虫文件：scrapy genspider -t crawl spiderName www.xxx.com --此指令对比以前的指令多了 阅读全文
posted @ 2019-05-14 20:52 姜浩 阅读(183) 评论(0) 推荐(0)
python scrapy框架UA池和代理池
摘要：python scrapy架构图：https://www.cnblogs.com/iamjianghao/p/10862947.htm #导包 from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware 阅读全文
posted @ 2019-05-14 20:21 姜浩 阅读(719) 评论(0) 推荐(0)
python Scrapy五大核心工作描述
摘要：五大核心组件工作流程： 阅读全文
posted @ 2019-05-14 16:26 姜浩 阅读(319) 评论(0) 推荐(0)
python爬虫 scrapy框架介绍和基础应用
摘要：一.什么是Scrapy？ 二。安装 Linux： pip3 install scrapy Windows： a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录， 阅读全文
posted @ 2019-05-10 18:19 姜浩 阅读(354) 评论(0) 推荐(0)
python 爬虫大致思路梳理
摘要：三。scrapy 项目框架、 下载对应的版本要在cmd(管理员身份打开)：pip3 install 软件文件名.whl 阅读全文
posted @ 2019-05-10 11:11 姜浩 阅读(778) 评论(0) 推荐(0)
python 网络爬虫requests处理cookie,代理IP,云打码介绍
摘要：一。基于requests模块的cookie操作（session处理cookie） cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。 cookie作用：我们在浏览器中，经常涉及到数据的交换， 阅读全文
posted @ 2019-05-09 21:17 姜浩 阅读(590) 评论(0) 推荐(0)
python网络爬虫之requests模块
摘要：什么是requests模块 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 因为在使用urllib模块的时候，会有诸多不便之处，总结如下： 手动处理url编码 手动处理post请求参数 处理 阅读全文
posted @ 2019-05-08 16:19 姜浩 阅读(365) 评论(0) 推荐(0)
python 网络爬虫http和https协议介绍
摘要：一.HTTP协议 1.官方概念： HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。 2.HTTP工作原理： HTTP协议工作于客户端-服务端架构为上。浏览器 阅读全文
posted @ 2019-05-08 15:05 姜浩 阅读(313) 评论(0) 推荐(0)
python爬虫学习笔记-网络爬虫的三种数据解析方式
摘要：爬虫的分类 网络爬虫之requests模块 基于requests的get请求 基于requests模块的post请求 基于requests模块ajax的get请求 基于requests模块ajax的post请求 综合项目练习：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据 - 阅读全文
posted @ 2019-04-28 15:57 姜浩 阅读(762) 评论(0) 推荐(0)
关于DOM的事件操作
摘要：一、JavaScript的组成 JavaScript基础分为三个部分： ECMAScript：JavaScript的语法标准。包括变量、表达式、运算符、函数、if语句、for语句等。 DOM：文档对象模型，操作网页上的元素的API。比如让盒子移动、变色、轮播图等。 BOM：浏览器对象模型，操作浏览器 阅读全文
posted @ 2019-03-19 17:06 姜浩 阅读(174) 评论(0) 推荐(0)
selenium自动化测试python
摘要：一。环境部署 1.selenium安装 1.安装浏览器驱动 WebDriver 需要通过浏览器驱动来与浏览器交互，以下列出几种常用的浏览器驱动下载地址： Chrome: http://chromedriver.storage.googleapis.com/index.html Firefox:htt 阅读全文
posted @ 2019-03-19 16:25 姜浩 阅读(469) 评论(0) 推荐(0)