随笔分类 - 爬虫
Python 爬虫系列
摘要：原理 检测到调试，格式化等，疯狂的在js文件，或者html中进行读写，cookie重写追加，字节追加，导致内存不足够，卡死 内存爆破，指js通过死循环/频繁操作数据库(包括cookie)/频繁调取history等方式，使浏览器崩溃的一种反调试手段。 还有一种特性情况：js文件很大，电脑内存不足（这种
阅读全文
摘要：处理 # 解析伪装成png的ts def resolve_ts(src_path, dst_path): ''' 如果m3u8返回的ts文件地址为 https://p1.eckwai.com/ufile/adsocial/7ead0935-dd4f-4d2f-b17d-dd9902f8cc77.pn
阅读全文
摘要：有时服务器会检测http协议版本，有http/1.1和h2，requests发送的是http1.1的请求 # pip install httpx client = httpx.Client(http2=True, headers=headers) client.get(url, headers=he
阅读全文
摘要：xpath 1、xpath安装与使用 安装 安装lxml库 pip install lxml -i pip源 2、解析流程与使用 解析流程 实例化一个etree的对象，把即将被解析的页面源码加载到该对象 调用该对象的xpath方法结合着不同形式的xpath表达进行标签定位和数据提取 使用 导入lxm
阅读全文
摘要：分布式爬虫 一. 增量式爬虫 增量式爬虫, 顾名思义. 可以对网站进行反复抓取. 然后发现新东西了就保存起来. 遇到了以前抓取过的内容就自动过滤掉即可. 其核心思想就两个字. 去重. 并且可以反复去重. 今天运行一下. 明天再运行一下. 将不同的数据过滤出来. 相同的数据去除掉(不保存)即可.
阅读全文
摘要：NoSQL Mongodb 下载mongodb的版本，两点注意 根据业界规则，偶数为稳定版，如1.6.X，奇数为开发版，如1.7.X 32bit的mongodb最大只能存放2G的数据，64bit就没有限制 性能 BSON格式的编码和解码都是非常快速的。它使用了C风格的数据表现形式，这样在各种语言中都
阅读全文
摘要：Redis简单使用 一. Redis的安装 Redis作为一款目前这个星球上性能最高的非关系型数据库之一. 拥有每秒近十万次的读写能力. 其实力只能用恐怖来形容. mac版本, brew: https://blog.csdn.net/weixin_45509705/article/details/1
阅读全文
摘要：selenium 一、前期准备 1、概述 selenium本身是一个自动化测试工具。它可以让python代码调用浏览器。并获取到浏览器中加载的各种资源。 我们可以利用selenium提供的各项功能。 帮助我们完成数据的抓取。 2、学习目标 掌握 selenium发送请求，加载网页的方法 掌握 sel
阅读全文
摘要：Redis数据库 Redis 简介 Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他 key- value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支
阅读全文
摘要：Python快速格式化请求头Request Headers
阅读全文