随笔分类 -  爬虫

Python Selenium
摘要：Selenium Selenium 是用来做自动化测试的，支持多种浏览器 在爬虫中主要用于解决 JS 渲染的问题 官方文档：https://docs.seleniumhq.org/docs/ 基本使用 声明浏览器对象 Selenium 支持很多浏览器，常用的 访问页面 通过 来访问页面 查找元素 单 阅读全文

posted @ 2019-08-30 17:09 doubtful 阅读(441) 评论(0) 推荐(0) 编辑

Python pyquery
摘要：pyquery 一个像 jQuery 一样的解析库 初始化 字符串初始化 文件初始化 URL 初始化 选择器 伪类选择器 [其他选择器：https://www.w3school.com.cn/cssref/css_selectors.asp][1] 查找元素 子孙元素 祖先元素 兄弟元素 返回一个生 阅读全文

posted @ 2019-08-29 12:35 doubtful 阅读(258) 评论(0) 推荐(0) 编辑

Python Beautiful Soup 4
摘要：Beautiful Soup 是一个灵活方便的网页解析库，利用它不用编写正则表达式即可方便地提取的网页信息 官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 解析库 Beautiful Soup 支持 Python 标准库中的 H 阅读全文

posted @ 2019-08-28 19:49 doubtful 阅读(276) 评论(0) 推荐(0) 编辑

Python requests
摘要：Python requests Requests 常用的 HTTP 请求有 , , , 还有 等 使用 requests 发送请求 添加参数 添加参数只需要在发送请求时传入参数字典即可 发送 GET 请求如果需要添加一般参数还可以使用 URL 拼接的方法： 示例： 添加一般参数： 添加请求头： 发送 阅读全文

posted @ 2019-08-27 17:25 doubtful 阅读(268) 评论(0) 推荐(0) 编辑

导航