随笔分类 -  爬虫

1 2 下一页
爬虫学习笔记
【FastAPI】线上部署
摘要：1.编写代码并且上传到线上仓库 https://gitee.com/xiao-wenliang/fastapi_demo.git 2.根目录下，data文件夹下克隆项目 3.创建虚拟环境并且下载第三方模块 3.1：创建虚拟环境 3.2：下载第三方模块 3.3: 安装pip install gunic 阅读全文
posted @ 2024-10-23 21:11 Tony_xiao 阅读(45) 评论(0) 推荐(0) 编辑
【Flask】线上部署
摘要：1.基本流程 1.本地开发项目 2.git将代码提交“仓库” 3.服务器获取代码 4.创建虚拟环境 + 激活 + 安装第3方模块 5.uwsgi -> 基于uwsgi启动Flask程序 9001 6.nginx + 配置 7.其他 - 启动脚本 - 关闭脚本 2.第一步到第二步就不缀叙了，直接上代码 阅读全文
posted @ 2024-10-21 23:00 Tony_xiao 阅读(45) 评论(0) 推荐(0) 编辑
【FastAPI】jinja2模板
摘要：本文介绍简单的jinja2语法 API import uvicorn from fastapi import FastAPI from fastapi.requests import Request from fastapi.templating import Jinja2Templates fro 阅读全文
posted @ 2024-10-17 20:12 Tony_xiao 阅读(58) 评论(0) 推荐(0) 编辑
【FastAPI】异步+网络请求
摘要：前言：当我们碰到IO阻塞的时，使用fastapi异步框架，需要配合异步模块使用 1.网络请求，httpx import httpx import uvicorn from fastapi import FastAPI from fastapi.requests import Request app 阅读全文
posted @ 2024-10-17 20:07 Tony_xiao 阅读(142) 评论(0) 推荐(0) 编辑
【FastAPI】入门基础
摘要：FastAPI 介绍和安装 FastAPI 是一个基于 Python 3.6+ 版本的异步 WEB 应用框架，使用 Python 类型注解构建 web API 。它的主要特点如下: 高性能：与 Node JS 和 Go 相当。 编码快：将开发功能的速度提高 2~3 倍。 Bug少：减少大约 40% 阅读全文
posted @ 2024-10-16 21:59 Tony_xiao 阅读(114) 评论(0) 推荐(0) 编辑
【web服务】耗时任务基于API与worker模式
摘要：场景：当我们爬虫或者获取数据需要很长的时间计算或者等待，这种情况情况下基于API与worker模式完成交付 1.API端:用flask框架 import json import uuid import redis from flask import Flask, request, jsonify a 阅读全文
posted @ 2024-10-15 21:29 Tony_xiao 阅读(37) 评论(0) 推荐(0) 编辑
【web】flask基础入门
摘要：1.基础使用 import json from flask import Flask,request,jsonify,redirect app = Flask(__name__) @app.before_request # 请求前置，每次访问前都会执行这个函数，一般没有返回值，如果有返回值，不会继续 阅读全文
posted @ 2024-09-23 22:01 Tony_xiao 阅读(5) 评论(0) 推荐(0) 编辑
【web_逆向13】ob混淆及实战
摘要：## 什么是ob混淆？ - OB 混淆和变量名混淆是常用的代码混淆技术。 - OB 混淆是指在代码中添加一些无用的代码和函数，以增加代码的复杂度和难以理解性，从而增加代码的保护性。 - 变量名混淆是指将变量名替换为无意义的字符串，增加代码的难度和防止代码的逆向分析。 ## ob混淆的特点 - 它会把 阅读全文
posted @ 2023-08-27 11:44 Tony_xiao 阅读(1510) 评论(0) 推荐(0) 编辑
【web_逆向12】RSA加密实战
摘要：## 目标 - 中大网校登录获取数据 ## 分析 - 根据接口分析，我们需要对密码逆向，识别验证码 - 加密入口 ![](https://img2023.cnblogs.com/blog/1544134/202308/1544134-20230826135452362-266851131.png) 阅读全文
posted @ 2023-08-26 14:14 Tony_xiao 阅读(93) 评论(0) 推荐(0) 编辑
【web_逆向11】JS处理RSA加密
摘要：## JS中RSA加密有两套逻辑 - 1、网易的那种. -> 加密的结果每一次都是一样的；这种没有办法使用python来完成 - setMaxDigits() - RSAKeyPair() - encryptedString() - 2、某网校的rsa加密 -> 加密的结果每一次都是不一样的；和py 阅读全文
posted @ 2023-08-20 17:29 Tony_xiao 阅读(912) 评论(0) 推荐(0) 编辑
【web_逆向10】非对称加密之RSA
摘要：## 非对称加密 - 非对称加密. 加密和解密的秘钥不是同一个秘钥. 这里需要两把钥匙. 一个公钥, 一个私钥. 公钥发送给客户端. 发送端用公钥对数据进行加密. 再发送给接收端, 接收端使用私钥来对数据解密. 由于私钥只存放在接受端这边. 所以即使数据被截获了. 也是无法进行解密的. - 常见的非 阅读全文
posted @ 2023-08-20 17:09 Tony_xiao 阅读(86) 评论(0) 推荐(0) 编辑
【web_逆向09】AES加密逆向实战
摘要：## 目标网站 - 话不多说，直接干：https://www.XXXX.com/rank_m/c7/, 可以联系本人微信号：wxid_ps0bm4kbsl0t22 ## 寻找加密入口 - 查看接口数据，发现入参、出参都是经过加密的，需要加密、解密 ![](https://img2023.cnblog 阅读全文
posted @ 2023-08-19 17:58 Tony_xiao 阅读(522) 评论(1) 推荐(0) 编辑
【web_逆向08】对称加密之AES、DES
摘要：## 对称解密 - 所谓对称加密就是加密和解密用的是同一个秘钥. 就好比. 我要给你邮寄一个箱子. 上面怼上锁. 提前我把钥匙给了你一把, 我一把. 那么我在邮寄之前就可以把箱子锁上. 然后快递到你那里. 你用相同的钥匙就可以打开这个箱子. - 常见的对称加密: AES, DES, 3DES等 ## 阅读全文
posted @ 2023-08-16 22:56 Tony_xiao 阅读(86) 评论(0) 推荐(0) 编辑
【web_逆向07】base64变种
摘要：## 简介 - 标准的Base64并不适合直接放在URL里传输，因为URL编码器会把标准Base64中的“/”和“+”字符变为形如“%XX”的形式，而这些“%”号在存入数据库时还需要再进行转换，因为ANSI SQL中已将“%”号用作通配符。 ## 解决方案 - 为解决此问题，可采用一种用于URL的改 阅读全文
posted @ 2023-08-16 21:34 Tony_xiao 阅读(199) 评论(0) 推荐(0) 编辑
【web_逆向06】base64
摘要：## 简介 - base64其实很容易理解. 通常被加密后的内容是字节. 而我们的密文是用来传输的(不传输谁加密啊). 但是, 在http协议里想要传输字节是很麻烦的一个事儿. 相对应的. 如果传递的是字符串就好控制的多. 此时base64就应运而生了. 26个大写字母+26个小写字母+10个数字+ 阅读全文
posted @ 2023-08-13 23:08 Tony_xiao 阅读(45) 评论(0) 推荐(0) 编辑
【web_逆向05】URLEncode
摘要：## 我们这网站中总能看到这样一种url，例如：百度中直接搜索"周杰伦" ``` https://www.baidu.com/sugrec?&prod=pc_his&from=pc_web&json=1&sid=26350&hisdata=%5B%7B%22time%22%3A1691934763% 阅读全文
posted @ 2023-08-13 22:10 Tony_xiao 阅读(69) 评论(0) 推荐(0) 编辑
【web_逆向04】MD5摘要算法
摘要：## MD5是一个非常常见的摘要(hash)算法，其特点就是小巧. 速度快. 极难被破解。所以, md5依然是国内非常多的互联网公司选择的密码摘要算法 - 1. 这玩意不可逆. 所以. 摘要算法就不是一个加密逻辑. - 2. 相同的内容计算出来的摘要应该是一样的 - 3. 不同的内容(哪怕是一丢丢丢 阅读全文
posted @ 2023-08-13 21:46 Tony_xiao 阅读(62) 评论(0) 推荐(0) 编辑
【web_逆向03】关于字节
摘要：## 简介 - 字节是二进制数据的单位。一个字节通常8位长。但是，一些老型号计算机结构使用不同的长度。为了避免混乱，在大多数国际文献中，使用词代替byte。 ## python中转换成字节 - 1个字节是8位二进制. 1111 1111 -> 255 -> FF 两位十六进制刚好最大值是 FF 25 阅读全文
posted @ 2023-08-13 21:07 Tony_xiao 阅读(49) 评论(0) 推荐(0) 编辑
【web_逆向02】某易云逆向注意点
摘要：## 加密入口 ![](https://img2023.cnblogs.com/blog/1544134/202308/1544134-20230813174625437-1061896858.png) ## 需要用到a，b，c三个函数 - a，不需要动，直接copy就行 - b，标准的第三方库，直 阅读全文
posted @ 2023-08-13 17:56 Tony_xiao 阅读(37) 评论(0) 推荐(0) 编辑
【web_逆向01】环境安装
摘要：## node.js环境安装 - 官网下载，直接下一步就行 ![](https://img2023.cnblogs.com/blog/1544134/202308/1544134-20230813165904433-477629405.png) - 安装后，在cmd环境，测试 ![](https:/ 阅读全文
posted @ 2023-08-13 17:30 Tony_xiao 阅读(35) 评论(0) 推荐(0) 编辑

1 2 下一页
点击右上角即可分享
微信分享提示