2021年7月22日
9-爬虫高级实战【js逆向】
摘要： js逆向步骤 js调试工具 发条js调试工具 PyExecJs 实现使用python执行js代码 安装环境 安装node.js开发环境 pip install PyExecJs js算法改写初探 打断点 代码调试时，如果发现了相关变量的缺失，一般给其定义成空字典即可。 代码调试时，如果js内置对象确 阅读全文
posted @ 2021-07-22 09:38 今天捡到一百块钱 阅读(2964) 评论(0) 推荐(2) 编辑
8-爬虫高级【js逆向】
摘要： 一、常见的JavaScript加密方式 加密在前端开发和爬虫中是经常遇见的。掌握了加密算法且可以将加密的密文进行解密破解的，也是我们从一个编程小白到大神级别的一个质的飞跃。且加密算法的熟练程度和剖析也是有助于我们实现高效的js逆向。 线性散列算法（签名算法）MD5 对称加密算法 AED DES 非对 阅读全文
posted @ 2021-07-22 09:37 今天捡到一百块钱 阅读(600) 评论(0) 推荐(1) 编辑
2021年6月4日
7. Scrapy的高级用法
摘要： Scrapy的高级用法 一、Scrapy的五大核心组件 1. Scrapy Engine（引擎） 用来处理整个系统的数据流，触发事务（框架核心） 2. Schedule（调度器） 用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回，可以想像成一个url（抓取网页的网址或者说是链接）的优 阅读全文
posted @ 2021-06-04 12:24 今天捡到一百块钱 阅读(434) 评论(0) 推荐(0) 编辑
6. Scrapy的基本用法
摘要： Scrapy基础入门 一、什么是Scrapy? Scrapy是一个未来爬取网站数据，提取结构性数据而编写的应用框架，在爬虫界非常出名，非常强悍。所谓的框架就是一个已经集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是学习框架的特性，各个功 阅读全文
posted @ 2021-06-04 12:23 今天捡到一百块钱 阅读(189) 评论(0) 推荐(0) 编辑
5. 基于Selenium实现爬虫
摘要： selenium 概念：基于浏览器自动化的模块 自动化：可以通过代码指定一系列的行为动作，然后将起作用在浏览器中 安装：pip install selenium selenium和爬虫之间的关系 便捷的捕获到任意形式动态加载的数据 模拟登录 谷歌驱动下载：http://chromedriver.st 阅读全文
posted @ 2021-06-04 11:49 今天捡到一百块钱 阅读(352) 评论(0) 推荐(0) 编辑
4. 异步爬虫
摘要： 异步爬虫 一、基于单线程的异步爬虫 使用Flask搭建网站进行一部请求爬取测试 from flask import Flask,render_template import time # 实例化一个app app = Flask(__name__) # 创建视图函数&路由地址 @app.route( 阅读全文
posted @ 2021-06-04 11:35 今天捡到一百块钱 阅读(125) 评论(0) 推荐(0) 编辑
3. 数据解析
摘要： 数据解析 正则 bs4 xpath pyquery(自学) 正则解析 单字符： .：除换行以外所有字符 []：[aoe] [a-w]匹配集合中任意一个字符 \d：数字 [0-9] \D：非数字 \w：数字、字母、下划线、中文 \W：非\w \s：所有的空白字符包，括空格、制表符、换页符等等。等价于[ 阅读全文
posted @ 2021-06-04 11:34 今天捡到一百块钱 阅读(221) 评论(0) 推荐(0) 编辑
2. requests的使用
摘要： 一、requests基础 爬虫中一个基于网络请求的模块 安装：pip install requests 作用：模拟浏览器发起请求 编码流程 指定url 发起请求 获取响应数据（爬取到的也买你源码数据） 持久化存储 爬取搜狗首页的源码数据 import requests # 1.指定url url = 阅读全文
posted @ 2021-06-04 11:32 今天捡到一百块钱 阅读(310) 评论(0) 推荐(0) 编辑
1. 爬虫概述
摘要： 一、开发环境搭建介绍 Anacanda开发环境 Anacanda是一个基于数据分析和机器学习的集成环境（给我们集成好了数据分析和机器学习对应的各种环境和模块） jupyter就是Anacanda这个集成环境提供的一个基于浏览器可视化的编码工具。 注意事项： 在环境搭建好的时候只需要安装Anacand 阅读全文
posted @ 2021-06-04 11:31 今天捡到一百块钱 阅读(136) 评论(0) 推荐(0) 编辑
2021年3月26日
03-Servlet初识
摘要： Servlet 一、Servlet概述 Servlet就是运行在服务器(tomcat)上的java程序 Servlet用来处理客户端请求的，以及负责对客户端的响应。 Servlet默认情况下是单例模式的，每次用户访问，都是开启一个新的线程，调用service方法处理 二、如何使用Servlet 先引 阅读全文
posted @ 2021-03-26 15:59 今天捡到一百块钱 阅读(73) 评论(0) 推荐(0) 编辑
下一页