随笔分类 - 爬虫JS逆向-专项技术
摘要：beautifulsoup 一、beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通
阅读全文
摘要：一、正则基础 1、为什么使用正则 需求 判断一个字符串是否是手机号 解决 编写一个函数，给函数一个字符串，如果是手机号则返回True，否则返回False 代码 def isPhone(phone): # 长度为11 # 全部都是数字字符 # 以1开头 pass if isPhone("1381234
阅读全文
摘要：安装pyDes pip install pyDes 案例： import pyDes import base64 import os data = 'hello' key = os.urandom(24) # 随机生成24字节=> 3des mode = pyDes.CBC # 使用CBC模式 IV
阅读全文
摘要：环境安装 pip install PyExecJS（自己pip安装，安装成功后，最好重启下cmd终端和pycharm，或者重启电脑） 安装node.js开发环境：安装好了之后，记得重启电脑！ js改写工具 PyExecJS介绍 PyExecJS 是一个可以使用 Python 来模拟运行 JavaSc
阅读全文
摘要：逆向重点掌握的内容： 1.逆向的思维 2.网站逆向的分析思路和步骤 注意：重点不是放在代码中，而是分析的思路和套路（技巧） 逆向到底是什么？ 通俗来讲，逆向就是处理爬虫过程中对于加密数据的破解，和一些动态变化请求参数的处理。 js常见的加密方式 加密在前端开发和爬虫中是经常遇见的。掌握了加密算法且可
阅读全文
摘要：各种加密逻辑 在我们进行js逆向的时候. 总会遇见一些我们人类无法直接能理解的东西出现. 此时你看到的大多数是被加密过的密文. 一. 一切从MD5开始 （Message-Digest Algorithm ） MD5信息摘要算法（英语：MD5 Message-Digest Algorithm） M
阅读全文
摘要：简介 什么是框架？ 所谓的框，其实说白了就是一个【项目的半成品】，该项目的半成品需要被集成了各种功能且具有较强的通用性。 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具
阅读全文
