摘要：
gRPC是一款高性能、开源的RPC框架，支持多种编程语言。Protobuf是gRPC使用的默认序化协议，可以将结构化数据序列化为二进制格式，提高数据传输效率。 在Python中使用gRPC调用服务时，通常需要先定义协议缓冲区（Protocol Buffers）消息类型，这些类型是从.proto文件生 阅读全文
摘要：
爬取问财网的今日涨停信息 载荷多试几次可以发现除了页码等信息，都是固定值，因此变化一定是在请求头 可以发现变化的就是HeXin-V的值，并且在cookie中也有对应的键值对，所以下一步就是找到该值生成的位置。 因为Cookie中有这个值，所以可以通过Cookie Hook的方式来定位 (functi 阅读全文
摘要：
爬取观鸟网的信息 有sign值，timestamp和requestid，要看这些值是怎么生成的 载荷有加密的数据 返回值也经过加密 搜索requestid，找到了eval加密的代码，通过解密，就能找到生成这些值的代码段 代码格式化后，找到了这几个值的生成位置 requestid的生成是随机值，tim 阅读全文
摘要：
爬取易车网的车辆配置信息 所以主要就是确定这几个是怎么生成的 搜索x-sign值的位置，打断点，找到构建x-sign的函数 注意，一定要看清是否是正确的url，x-timestamp明显是时间戳 进入这个函数 x-sign值，是对这个字符串做md5，这个字符串由三部分构成，参数、时间戳、和一个固定字 阅读全文
摘要：
本篇文章主要来爬取网易云音乐的音频文件。 进入一首歌点击播放，从该请求中找到了音频文件的地址 查看载荷情况，所以现在问题的重点就是找到载荷是怎么构建的 通过查看该请求的启动器，一层层向上找参数是在哪个地方构建的 打断点定位到第一个位置，发现参数已经构建完成，所以通过调用堆栈继续向前找参数构建的位置 阅读全文
摘要：
分析发送请求的过程 该动态请求返回的数据是响应数据，想要的结果就在其中，但明显是加密过的，所以下一步要模拟发送请求，并找出是如何加密的。 看一下请求的载荷，多发几次请求，发现只有这两个参数是变化的，所以下一步要找到这两个参数是如何构建的，才能模拟发出请求。 在源代码中搜索，找到发送请求的位置，搜索内 阅读全文
摘要：
1.python调用execjs执行js代码解决execjs执行js时产生的乱码报错，需要在导入该模块之前，让Popen的encoding参数锁定为utf-8. 具体做法，如下 切记，不要去改源码，要不然其他程序会炸 from functools import partial # 这玩意儿能锁定一个 阅读全文
摘要：
示例为调用huggingface的大模型，使其流式输出 from fastapi import FastAPI, Request import requests import json import os from pydantic import BaseModel from transformer 阅读全文
摘要：
python实现单例模式 在Python中实现单例模式可以通过装饰器、元类或者直接在类中实现。以下是一个使用装饰器实现的单例模式示例： def singleton(cls): instances = {} def get_instance(*args, **kwargs): if cls not i 阅读全文
摘要：
import random import os import re import requests import asyncio import aiohttp import time from lxml import etree from Crypto.Cipher import AES from 阅读全文