摘要: 知识预览 BeautifulSoup xpath BeautifulSoup 一 简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下: ''' Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等 阅读全文
posted @ 2019-07-02 21:02 优寒凌 阅读(9187) 评论(0) 推荐(1) 编辑
摘要: selenium模块 阅读目录 一 介绍 二 安装 三 基本使用 四 选择器 五 等待元素被加载 六 元素交互操作 七 其他 八 项目练习 一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质 阅读全文
posted @ 2019-07-02 20:54 优寒凌 阅读(331) 评论(0) 推荐(0) 编辑
摘要: requests模块 阅读目录 一 介绍 二 基于GET请求 三 基于POST请求 四 响应Response 五 高级用法 一 介绍 #介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) #注意:reque 阅读全文
posted @ 2019-07-02 20:51 优寒凌 阅读(228) 评论(0) 推荐(0) 编辑