06 2020 档案

python爬虫 关于Max retries exceeded with url 的错误
摘要：爬取安逸花 https://vayh.msxf.com/ 时出现这种错误，总结如下： ###1.https连接太多没有关闭导致的433，解决方法： import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数 s = requests. 阅读全文
posted @ 2020-06-30 17:59 莫贞俊晗 阅读(3775) 评论(1) 推荐(1) 编辑
dewuApp逆向
摘要：###第一步就是抓包 根据抓到的包，可以看出需要破解的参数 newSign 、password、uuid 还有 headers 中的参数 shumeiid/x-auth-token/duuid/duimei/shumengid 。也就是有这么多的参数是不知道的，需要去 app 中找的。 ###第二步 阅读全文
posted @ 2020-06-29 16:01 莫贞俊晗 阅读(1229) 评论(0) 推荐(0) 编辑
python调用接口查询 顺丰单号 物流信息
摘要：###爱查快递 查询 顺丰单号 物流信息 Query.sign = function() { function t(t) { var e, i, s, a, r = -1; for (e = 0, s = t.length; s > e; e += 1) { for (a = 255 & (r ^ 阅读全文
posted @ 2020-06-24 10:54 莫贞俊晗 阅读(1029) 评论(0) 推荐(0) 编辑
python线程池,多线程
摘要：logDebug(self.cfg_down_appdata, f"获取{lastId}的详情") t_list = [] with ThreadPoolExecutor(10) as executor: for info in list_info: f = executor.submit(self 阅读全文
posted @ 2020-06-24 09:46 莫贞俊晗 阅读(136) 评论(0) 推荐(0) 编辑
shell脚本-监控python进程是否在运行及启动python进程
摘要：shell脚本-监控python进程是否在运行，没有则重启jingdong_prices_run.py 并发送邮件告知重启时间,否则不重启不发送邮件 ###定时检测京东商品状态 */5 * * * * sh /data/jingdong-app-spider-py/shell/check-jingd 阅读全文
posted @ 2020-06-22 20:52 莫贞俊晗 阅读(2384) 评论(0) 推荐(0) 编辑
python pip安装包使用PyPI国内源
摘要：###python3安装的包 用国内资源如下: 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/s 阅读全文
posted @ 2020-06-16 11:39 莫贞俊晗 阅读(1328) 评论(0) 推荐(0) 编辑
python下载图片并保存本地
摘要：正则图片链接并下载 ####示例1 import requests import re url = 'http://www.nipic.com/photo/jingguan/ziran/index.html' response = requests.get(url).text # print(res 阅读全文
posted @ 2020-06-06 12:41 莫贞俊晗 阅读(2532) 评论(0) 推荐(0) 编辑
python 将图片Base64编码转换成二进制并保存本地
摘要：import json from base64 import b64decode response = {"result":0,"system":{"redirect":0,"uid":"","controller":"otherAuthService","trace_id":"AC1000F715 阅读全文
posted @ 2020-06-03 20:52 莫贞俊晗 阅读(2749) 评论(0) 推荐(0) 编辑
python三组字典两两匹配对应Value
摘要：####示例1 priceinfo== {82620534: 41900, 82620542: 39900, 82620544: 39900, 82620557: 45900, 82620559: 40900, 82620560: 40900, 82620565: 40900, 82620567: 阅读全文
posted @ 2020-06-03 01:03 莫贞俊晗 阅读(298) 评论(0) 推荐(0) 编辑