摘要:
背景 周末在写一个爬虫时,遇到这样一种场景:从搜索结果中下载指定数量的文件 例如:搜索结果中共分为10页展示,加起来一共50条数据,现在要做的是从50条数据中下载指定数量的数据 为了实现这个功能,开始我是这样想的: 1、依次遍历10页数据,并且把每页的数据都追加到同一个列表中,这样的话,请求完10页 阅读全文
摘要:
最近在写脚本时有一个功能是上传附件,也趁这个机会学习了下对于上传文件类的接口该如何进行传参 本次介绍2种方式来上传附件:一种是通过jmeter;另一种是通过python的requests库 接口参数分析 在讲具体方法之前,先来分析下这次上传附件接口的headers与携带的参数信息 headers种主 阅读全文
摘要:
前面有一篇随笔大致描述了如何在jmeter中生成时间戳,所以这次继续介绍下在用python做接口测试时,如何构造想要的时间戳参数 1. 目的&思路 本次要构造的时间戳,主要有2个用途: headers中需要传当前时间对应的13位(毫秒级)时间戳 查询获取某一时间段内的数据(如30天前~当前时间) 接 阅读全文
摘要:
前置说明 关于python多线程和多进程的说明,请参考如下: https://zhuanlan.zhihu.com/p/46368084 (一位知乎用户) https://www.liaoxuefeng.com/wiki/1016959663602400/1017628290184064 (廖雪峰) 阅读全文
摘要:
很久没用jmeter了,这次趁着项目稳定后,用jmeter写了一些创建测试数据的脚本,因为手动创建数据太麻烦了 本次编写脚本,一方面是通过查看后台请求,手动录入脚本,另一方面用到了一些自带的函数来生成时间戳、生成随机数 所以本篇主要说一下这次写脚本的思路以及函数助手中用到的函数 1.整体思路 要想构 阅读全文
摘要:
日志模块在一个完整项目中必不可少,平时在工作中遇到系统报错等,也是首先到服务器查看报错日志(ps.即使看不懂,也会把报错部分copy出来当做bug附件) 下面通过一个调用天气接口API查询天气的例子,来说一下如何在python中添加日志模块 准备工作 因为这次是调用一个查询天气接口,所以需要先找个提 阅读全文
摘要:
最近在看django的官方文档,跟着文档敲第一个django应用,刚开始看到第一部分关于urls路由的设置时,脑子里冒出来许多问号 一时没转过弯来,它到底是咋转发路由的??如何通过我配置的路径来定位到指定视图的? 然后自己就反复试验了几次,又仔细看了文档中的描述(我的蹩脚英语不足以支撑看原版英文文档 阅读全文
摘要:
python的requests库是我平时用的最多的一个库,无论是做接口测试,还是写爬虫,都离不开它,今天针对它做一个总结 先贴出来官方文档地址:https://requests.readthedocs.io/zh_CN/latest/index.html 1.requests发送get请求和post 阅读全文
摘要:
本次借助wxPython编写一个网易云音乐的爬虫程序,能够根据一个歌单链接下载其下的所有音乐 前置说明 网易云音乐提供了一个下载接口:http://music.163.com/song/media/outer/url?id=xxx 所以只需要拿到歌单中每首歌曲对应的 id 即可 1.分析歌单网页元素 阅读全文
摘要:
上篇获取到了每一集的下载url,这篇就用获取到的url下载视频 在下载文件时希望可以给出进度条之类的提示,在网上搜索了一波,发现有一个库可以实现:tqdm库,具体用法参考这篇博客:https://www.jianshu.com/p/1ed2a8b2c77b 在原来的类下面,再加一个方法,用来下载文件 阅读全文