摘要:
方案一:requests请求成功时,设置它的编码 1 def get_one(ur1): 2 res = requests.get(ur1) 3 res.encoding = '2312' #编码格式 4 if res.status_code == 200: 5 return res.text 6 阅读全文
摘要:
1 import base64 2 import requests 3 import json 4 import os.path 5 from io import BytesIO 6 7 # Python3 base64官方API:https://docs.python.org/3/library/ 阅读全文
摘要:
在本篇文章中,将给大家推荐14款日常工作中经常用到的测试开发工具神器,涵盖了自动化测试、APP性能测试、稳定性测试、抓包工具等。 一、UI自动化测试工具 1. uiautomator2 Github地址 https://github.com/openatx/uiautomator2介绍: opena 阅读全文
摘要:
区别:docker load命令导入镜像库存储文件到本地镜像库;docker import命令导入一个容器快照到本地镜像库。容器快照将会丢弃所有的历史记录和元数据信息,而镜像存储文件将保存完整记录,体积也会更大。 首先,想要清楚的了解docker load与docker import命令的区别,就必 阅读全文
摘要:
可以用pycurl这个模块,比urllib好用多了。下面直接贴上代码,根据代码注释修改就可以了。 #coding:utf-8 import pycurl,StringIO #传入图片的下载链接 url = 'http://junyiseo.com/wp-content/uploads/2016/10 阅读全文
摘要:
均益最近写了个python脚本,需要每天固定个时间执行一次。在shell窗口下执行是没问题的,但是定时任务的时候老是不执行。如果你也遇到与均益一样的问题,那么可以看一下下面的内容,你肯定可以找到解决方案的。这是均益花不少时间整理出来的。 首页,linux定时任务用到的是crontab,我们来看一下c 阅读全文
摘要:
python xpath解析网页用到的是lxml库,lxml的使用方法可以官方文档 http://lxml.de/lxmlhtml.html xpath 的定位查找,可以查看 http://www.runoob.com/xpath/xpath-tutorial.html 上面的两个教程说的挺详细的, 阅读全文
摘要:
我们在爬大型网站的时候,需要处理上千万乃至上亿的url的去重。如果采用python的自带set,或者redis的set,那就需要占用很大的内存。如果存入将url存入数据库去重,那速度又会变慢。这种量级以上的去重,一般是采用BloomFilter,但是如果机器down机了,那BloomFilter在内 阅读全文
摘要:
BloomFilter布隆过滤器python的实现方法 安装pybloomfiltermmap模块 pip install pybloomfiltermmap 实现 # -*- coding:utf-8 -*- import os import sys reload(sys) sys.setdefa 阅读全文
摘要:
我们通过抓包工具,抓到上传文件的时候下面的post传输的数据,就是浏览器控制器中显示的Request Payload WebKitFormBoundarynZb9BK3DBujba6Z2 Content-Disposition: form-data; name="__VIEWSTATE" /wEPD 阅读全文