摘要: 一、安装selenium和chromedriver 二、安装PhantomJS 三、介绍 selenium最初是一个测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉 阅读全文
posted @ 2019-01-24 14:26 st--st 阅读(216) 评论(0) 推荐(0) 编辑
摘要: Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。 一、安装 二、使用 三、遍历文档树 获取标签的文本 tag对象 四、五种过滤器 fi 阅读全文
posted @ 2019-01-24 10:37 st--st 阅读(183) 评论(0) 推荐(0) 编辑