摘要: 导入包,设置请求头,url地址 使用beatifulsoup解析网页,通过检查可以看到所有图片地址都在属性为class的“pic”中,直接提取。 在这个页面可以看到不止主播封面的图片,还有虎牙直播的logo,二维码等等,所以我们需要精确获取到主播图片的地址 这里就不做保存图片,爬取如下: 代码如下: 阅读全文
posted @ 2021-01-13 09:50 Martina_oh 阅读(1379) 评论(0) 推荐(0) 编辑
摘要: 针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片 代码如下: 阅读全文
posted @ 2021-01-12 09:05 Martina_oh 阅读(295) 评论(0) 推荐(0) 编辑
摘要: 1.导入模块获取网页头 2.通过分析网页源码,我们可以看到,所有电影都归到[ol]标签下。每一个[li]下包含一部电影。以下图为例,分析出对应关系后,便可以针对性的提取出想要的信息。 3.豆瓣电影top250共有10页数据,对比url发现,每翻一页就获取25个电影信息,所以只需做10个循环,就可以获 阅读全文
posted @ 2021-01-11 09:27 Martina_oh 阅读(955) 评论(0) 推荐(0) 编辑
摘要: 1.获取小说页的url地址: http://www.shuquge.com/txt/8659/2324752.html 2.使用parsel解析获取到的地址 3.这里用css属性提取到标题和小说的文本 4.对爬取数据进行遍历 5.保存写入文件: 6.爬取数据如下: 7.代码如下: import re 阅读全文
posted @ 2021-01-07 09:44 Martina_oh 阅读(567) 评论(0) 推荐(0) 编辑
摘要: 1.因为我们要去模拟人为去登陆搜索商品,所以这里先导入webdriver,设置浏览器驱动对象。之后再获取淘宝网登陆界面的url地址。 2.进入到登陆界面后,我们使用xpath定位到账号输入框和密码输入框 以及登录按钮,这里在各节点后设置时间等待,避免验证过快。登录过后显示的界面是我的首页,而首要网站 阅读全文
posted @ 2021-01-04 10:22 Martina_oh 阅读(469) 评论(0) 推荐(0) 编辑
摘要: 1.软件测试的概念及分类 软件测试的定义:通过手工或自动化的手段来运行或测定某个软件产品系统的过程,目的在于检测软件产品是否满足规定的需求,或者弄清楚预期结果与实际结果之间的差别。 软件测试基本介绍: 软件测试的目的 1.是为了发现程序中存在的错误而执行程序;2.是为了证明程序有错,而不是证明程序无 阅读全文
posted @ 2020-06-09 09:08 Martina_oh 阅读(443) 评论(0) 推荐(0) 编辑
摘要: 物理层:建立、维护、断开物理连接 数据链路层:该层的作用包括了物理地址寻址,数据的成帧,流量控制,数据的检错,重发等。该层控制网络层与物理层之间的通信,解决的是所传输数据的准确性的问题。为了保证传输,从网络层接收到的数据被分制成特定的可被物理层传输的帧。帧是用来移动数据的结构包,它不仅包括原始数据, 阅读全文
posted @ 2020-06-04 16:20 Martina_oh 阅读(1244) 评论(0) 推荐(0) 编辑