随笔分类 - 爬虫selenium requests xpath
摘要:python 使用 scapy getmacbyip返回 ff:ff:ff:ff:ff:ff 缺少NPCAP https://nmap.org/npcap/ 去下载一个安装就可以了
阅读全文
摘要:经多次测试发现: lxml中的etree格式化以后,直接使用firefox或chrome提取的xpath检索不到内容。 主要是因为tbody 看上面两个,去掉tbody就可以了。 上面两个xpath是用firefox提取的。 下面是chrome提取的,也是要去掉tbody
阅读全文
摘要:Assert:失败时,该测试将终止 Verify:失败时,该测试继续执行,并将错误日志记录在日显示屏 Waitfor:等待某些条件变为真,一般使用在AJAX应用程序的测试 断言常用的有,具体见如下:assertLocation:判断当前是在正确的页面assertTitle:检查当前页面的title是
阅读全文
摘要:#coding=utf-8 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as
阅读全文
摘要:判断一个元素是否存在,如何判断alert弹窗出来了,如何判断动态的元素等等一系列的判断,在selenium的expected_conditions模块收集了一系列的场景判断方法, 一、功能介绍和翻译 title_is: 判断当前页面的title是否完全等于(==)预期字符串,返回布尔值 简单的示例
阅读全文
摘要:python : 3.6 lxml : 4.2.1 代码在上面。 简单说一说: requests配合xpath来抓网站数据的时候,不像selenium+xpath。 selenium有 find_element find_elements,区别是带S ,查找第一个元素,和查找所有元素。 reques
阅读全文
摘要:最近在抓取一个页面表格时发现,用firefox提取的xpath,不能用,仔细分析后,发现是提取的xpath多了一个tbody标签。在xpath路径中删掉这段就好了。 last_A5='/html/body/div[1]/table/tbody/tr/td/table[2]/tbody/tr[2]/t
阅读全文
摘要:简介: 以前都用PhantomJS来进行无界面模式的自动化测试,或者爬取某些动态页面。 但是最近selenium更新以后,'Selenium support for PhantomJS has been deprecated, please use headless '提示不支持PhantomJs,
阅读全文
摘要:如果生成的exe源码中有import pcap 那么你目标机上就要先装npcap 并勾选winpcap API。 然后就不出这个问题了。 暂时的办法是第一个exe不包含import pcap。自检npcap的安装状态。如果有npcap就打开第二个exe,这个就可以import pcap了。 并且py
阅读全文
摘要:简介: 这个就比较好玩了,大家还记得以前的QQ小尾巴么?还有百度贴吧的小尾巴,就是那个来自***的iphone7,这个功能。 这个功能是基于浏览器的user-agent功能实现的。 还是httpbin.org http://httpbin.org/user-agent User Agent中文名为用
阅读全文
摘要:简介: Cookie,有时也用其复数形式 Cookies,指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据。 常见的用途就是保留用户登陆信息,登陆时的7天免登陆,记住我…………这些都是通过cookie实现的。 一:认识cookie 还是firefox,打开百度,登陆
阅读全文
摘要:刷新,后退,前进,调整显示大小,最大化,最小化……………… 这都用的上,你别不信。
阅读全文
摘要:简介: 我们只打开一个页面是没有什么意义的。 尽管你可以get很多次。 selenium可以做的更多,比如找到百度的搜索框,输入我们要搜索的内容,再用鼠标点击搜索按钮,再把搜索结果提取出来…… 这篇文章,就是如何找到百度搜索框,输入内容,点击搜索。 原来喜欢用firebug,但是停止更新了,新的fi
阅读全文
摘要:简介: Selenium也是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不
阅读全文
摘要:稀里糊涂就装上了 大概记录一下都有什么。 visual studio build tools 2015 下载地址: http://landinghub.visualstudio.com/visual-cpp-build-tools 默认路径安装即可 Winpcap开发者版本 下载地址:http://
阅读全文