上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 19 下一页
摘要: 爬虫爬取信息时,需要把爬取的内容存到txt文档中,且爬虫是每天执行,以日期命名能避免出现名称重复等问题,解决方法如下 import time import os import sys path = os.path.abspath(os.path.dirname(sys.argv[0])) local 阅读全文
posted @ 2020-12-02 10:46 小贝书屋 阅读(5659) 评论(0) 推荐(0) 编辑
摘要: 爬虫爬取网页数据的时候,有时候因访问频率太过于规律导致被服务器发现,出现访问超时或者被封ip的情况。所以,每一轮爬取,后面加一个随时等待时间,可以减少被发现的概率 主要用到random和time库 实现脚本如下 import random import time for a in range(10) 阅读全文
posted @ 2020-12-02 09:58 小贝书屋 阅读(5127) 评论(1) 推荐(0) 编辑
摘要: 本脚本主要实现爬取caoliu某图片板块,前3页当天更新的帖子的所有图片,同时把图片下载到对应帖子名创建的文件夹中 爬虫主要通过python xpath来实现,同时脚本内包含,创建文件夹,分割数据,下载等操作 首先,我们分析下caoliu某图片板块的资源链接 贴子对应的页面元素 展开元素,可以看到帖 阅读全文
posted @ 2020-11-15 20:38 小贝书屋 阅读(51348) 评论(0) 推荐(0) 编辑
摘要: 比如,我们需要下载下面这张图,图片的网络地址:”https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1605450278851&di=1e008cc52b92b9ff2e18935197035b67&imgtype= 阅读全文
posted @ 2020-11-15 19:56 小贝书屋 阅读(6548) 评论(0) 推荐(0) 编辑
摘要: 比如,我们需要在D盘TU目录下创建名称为“test"的文件夹 脚本如下: import os path = r'D://tu' a = "test" os.mkdir(path + './'+a) 执行后 path是定义创建路径 os.mkdir,常见指令 阅读全文
posted @ 2020-11-15 19:34 小贝书屋 阅读(4898) 评论(0) 推荐(0) 编辑
摘要: 场景描述: 有等级卡A、B,依次通过查询A、B,检查A、B下是否会会员,如果有,调整会员身份,没有着执行下一个循环 全部脚本:脚本中红色标注的user即脚本之间的传参 //以下代码为示例代码(支持原生js/jquery写法),正式测试前请删除 //定义需要测试的API api_1 //respons 阅读全文
posted @ 2020-10-12 18:15 小贝书屋 阅读(484) 评论(0) 推荐(0) 编辑
摘要: 场景描述: 请求返回码(code)不等于0时,整个脚本停止执行,并抛出信息 具体脚本: if (JSON.parse(result_api_1.response).Code != "0") { eo.stop("启用失败"); //中止测试,并且抛出相关信息。 } 全部脚本 //以下代码为示例代码( 阅读全文
posted @ 2020-10-12 18:09 小贝书屋 阅读(220) 评论(0) 推荐(1) 编辑
摘要: 内置变量变化情况内置变量变化情况(相关地址https://help.eolinker.com/#/tutorial/?groupID=c-579&productID=13) 通过下表可以了解内置变量命名的变化: 旧内置变量新内置变量 url eo.http.apiUrl headers eo.htt 阅读全文
posted @ 2020-09-22 17:02 小贝书屋 阅读(726) 评论(0) 推荐(0) 编辑
摘要: 特别注意:需要使用全局变量前务必阅读本链接https://www.cnblogs.com/becks/p/13713278.html 如下图,返回值content内,需要取出验证码后面的数字 预处理,响应预处理输入下面代码,如此,即把数字取出来赋值给“Number”,且把Number定义为全局变量 阅读全文
posted @ 2020-07-19 17:03 小贝书屋 阅读(381) 评论(0) 推荐(0) 编辑
摘要: 特别注意:需要使用全局变量或者预处理前务必阅读本链接https://www.cnblogs.com/becks/p/13713278.html 场景描述:提交订单的接口请求中,有一参数是由商品价格+运费计算而来(下方红色TotalProductFee),而TotalProductFee参数又来自于运 阅读全文
posted @ 2020-07-07 21:54 小贝书屋 阅读(415) 评论(0) 推荐(0) 编辑
上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 19 下一页