摘要: 自动化测试工具,支持多种浏览器。爬虫中主要用来解决JavaScript渲染的问题。 用法讲解 模拟百度搜索网站过程: 声明浏览器对象 访问页面 查找元素 单个元素 输出结果: 常用的一些方法: find_element_by_name find_element_by_xpath find_eleme 阅读全文
posted @ 2018-12-03 17:17 cicarius 阅读(336) 评论(0) 推荐(0) 编辑
摘要: 显示行号: set nu 去除行号: set nonu 阅读全文
posted @ 2018-12-03 16:50 cicarius 阅读(1079) 评论(0) 推荐(0) 编辑
摘要: 强大又灵活的网页解析库。如果你觉得正则写起来太麻烦,如果你觉得BeautifulSoup语法太难记,如果你熟悉jQuery的语法,那么PyQuery就是你的最佳选择。 安装 pip3 install pyquery 用法讲解 字符串初始化 显示效果如下: URL初始化 直接输入网址,显示效果如下: 阅读全文
posted @ 2018-12-03 13:21 cicarius 阅读(525) 评论(0) 推荐(0) 编辑
摘要: 安装 pip3 install beautifulsoup4 解析库 | 解析器 | 使用方法 | 优势 | 劣势 | | |: :| :| :| | Python标准库 | BeautifulSoup(markup,'html,parser') | Python的内置标准库、执行速度适中、文档容错 阅读全文
posted @ 2018-12-03 08:53 cicarius 阅读(470) 评论(0) 推荐(0) 编辑