随笔分类 - 爬虫
摘要：代理： 破解封IP这种反爬机制。 什么是代理： -- 代理服务器。 代理的作用： -- 突破自身IP访问的限制。 -- 隐藏自身真实IP 代理相关的网站： -- 快代理 -- 西祠代理 -- www.goubanjia.com 代理ip的类型： -- http： 应用到http协议对应的url中 -
阅读全文
摘要：http / https协议特性： 无状态。 没有请求到对应页面数据的原因： 发起的第二次基于个人主页页面请求的时候，服务器端并不知道该此请求是基于登录状态下的请求。 cookie：用来让服务器端记录客户端的相关状态。 -- 手动处理： 通过抓包工具获取cookie值，将该值封装到headers中。
阅读全文
摘要：xpath解析：最常用且最便捷高校的一种解析方式。通用性。 -- xpath解析原理： -- 1. 实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 -- 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。 -- 环境的安装： -- p
阅读全文
摘要：bs4进行数据解析： -- 数据解析的原理： -- 1.标签定位 -- 2. 提取标签、标签属性中存储的数据值 -- bs4 数据解析的原理： -- 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中 -- 2.通过调用BeautifulSoup对象中相关的属性或者方法进
阅读全文
摘要：如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始。 而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，在整体中进行匹配。 import rea = """sdfkhellolsdlfsdfiooefo:877898989worldafdsf"""b = r
阅读全文
摘要：聚焦爬虫：爬取页面中指定的页面内容。 -- 编码流程： -- 指定url -- 发起请求 -- 获取响应数据 -- 数据解析 -- 持久化存储 数据解析分类： -- 正则 -- bs4 -- xpath 数据解析原理： -- 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 -- 1.
阅读全文
摘要：Ajax（Web数据交互方式） Ajax 在浏览器与 Web 服务器之间使用异步数据传输（HTTP 请求），这样就可使网页从服务器请求少量的信息，而不是整个页面。 使用Ajax技术网页应用能够快速地将增量更新呈现在用户界面上，而不需要重载（刷新）整个页面， 即在不需要刷新页面的情况下，就可以产生局部
阅读全文
摘要：jsonPython模块中的模块提供了一种称为dump()它将Python对象转换为适当的json对象。它是dumps()方法。 二、json.dump()和json.dumps()的区别 json.dumps()是把python对象转换成json对象的一个过程，生成的是字符串。 json.dump
阅读全文
摘要：requests模块： - urllib 模块 ： 比较老 - requests 模块： requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用： （requests模块的编码流程） -- 指定url -- 发起请求
阅读全文
摘要：http协议： 就是服务器和客户端进行数据交互的一种形式。 常用请求头信息： — User-Agent：请求载体的身份标识 — Conntection： 请求完毕后，是断开连接还是保持连接 常用响应头信息 — Content—Type：服务器响应回客户端的数据类型 https协议： — 安全的超文本
阅读全文
摘要：爬虫在使用场景中的分类： 通用爬虫： 抓取系统重要组成部分。抓取的是一整张页面数据 聚焦爬虫： 是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容 增量式爬虫： 检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。 爬虫的矛与盾 反爬机制： 门户网站，可以通过制定相应的策略或者技术手段
阅读全文
