摘要: 非对称加密时公钥和私钥成对,使用公钥加密的密码 再用私钥进行解密 ##使用场景: 密码登录加密:前端获取后台给定公钥进行加密,后端拿到密码后再进行解密 然后将密码md5转换后存入数据库。 后台密钥具有时效性 这样传输中被截取也无法仿造 import base64 import rsa # 秘钥的位数 阅读全文
posted @ 2021-10-28 17:12 古月月月胡 阅读(623) 评论(0) 推荐(0) 编辑
摘要: 通过Fiddler分析抖音app网络请求 抓取热搜视频 Filler使用方法这里不再赘述,可查看我的“爬虫”专题相关文章。 抖音热搜视频抓取很简单,分三部分: 热搜列表->提取热搜词语 热搜子列表->提取视频url 热搜视频url->视频下载 热搜列表get_hot_list()获取,通过永久url 阅读全文
posted @ 2020-07-02 20:14 古月月月胡 阅读(1191) 评论(1) 推荐(1) 编辑
摘要: 目前比较流行的python web框架:Flask、Tornado、Snaic、FastAPI、Quart、aiohttp 如下来自github上一个性能对比图: https://github.com/vibora-io/vibora 对于上图的测试好像是请求hello world的测试,这种方式在 阅读全文
posted @ 2020-05-25 22:56 古月月月胡 阅读(3834) 评论(2) 推荐(0) 编辑
摘要: 有时在处理不规则数据时需要提取文本包含的时间日期。 dateutil.parser模块可以统一日期字符串格式。 datefinder模块可以在字符串中提取日期。 datefinder模块实现也是用正则,功能很全 但是对中文不友好。 但是这两个模块都不能支持中文及一些特殊的情况;所以我用正则写了段代码 阅读全文
posted @ 2020-04-23 19:46 古月月月胡 阅读(8668) 评论(1) 推荐(1) 编辑
摘要: 1.字符编码简介 1.1. ASCII ASCII(American Standard Code for Information Interchange),是一种单字节的编码。计算机世界里一开始只有英文,而单字节可以表示256个不同的字符,可以表示所有的英文字符和许多的控制符号。不过ASCII只用到 阅读全文
posted @ 2020-04-21 19:25 古月月月胡 阅读(1961) 评论(0) 推荐(0) 编辑
摘要: 百度有很多接口可以直接调用 如失信人名单,电话号码归属地查询之类。 之前他的搜索接口可以直接仿造请求,但是现在接口多了些时间戳的参数,直接get无法访问。不过有原来访问过的记录 以前的接口还可以使用,如下,相信百度上很多搜索类api都可安如下的方式获取 阅读全文
posted @ 2019-10-16 16:33 古月月月胡 阅读(1475) 评论(0) 推荐(0) 编辑
摘要: 按之前的文章我们已经可以获取app及网页的https/http请求的json数据: https://www.cnblogs.com/i love python/p/11505669.html 在此基础上可对微信公众号文章数据进行抓取。 包括列表、浏览查看量、评论数据。(无需编码登录认证,不会封号) 阅读全文
posted @ 2019-10-14 22:21 古月月月胡 阅读(2379) 评论(0) 推荐(0) 编辑
摘要: SQLAlchemy 插入特殊字符操作 引号错误 曾经在使用SQLAlchemy执行sql语句的时候遇到插入字符串时引号的错误 例如下面的代码sql在拼接后就变成了注释中的字符串,这时候插入mysql当然出错。 解决方法: 1.自己转义为引号加上反斜杠 2.第三方依赖包 pymysql.escape 阅读全文
posted @ 2019-09-26 18:06 古月月月胡 阅读(1894) 评论(0) 推荐(0) 编辑
摘要: python qrcode模块可生成二维码并对二维码样式进行定制,如果二维码内容为url链接,手机扫描后可直接进行跳转。 三行代码即可实现 如下代码可在二维码定制头像图片,更改二维码颜色 阅读全文
posted @ 2019-09-22 23:06 古月月月胡 阅读(2179) 评论(0) 推荐(0) 编辑
摘要: 需求:给定进百万小区名称及对应城市信息,通过高德获取其周边设施信息(交通、医疗、教育、生活设施) 高德JS API 爬取灵感来自高德开发支持的JS API,当然你也可以直接调用高德提供的api服务获取地址信息,但是api服务是有次数限制。而JS API的调用并没有次数限制,经我的验证一个爬取节点控制 阅读全文
posted @ 2019-09-21 13:54 古月月月胡 阅读(3222) 评论(0) 推荐(0) 编辑