摘要: asyncio模块:示例一 asyncio模块:示例二 asyncio模块+aiohttp模块:示例三 asyncio模块+requests模块:示例四 gevent模块+requests模块:示例五 grequests模块:示例六 twisted模块:示例七 tornado模块:示例八 twist 阅读全文
posted @ 2019-03-08 20:39 Maple_feng 阅读(544) 评论(0) 推荐(0) 编辑
摘要: 一 介绍 二 安装 1、有界面浏览器 2、无界面浏览器 三 基本使用 四 选择器 1. 基本用法 2. xpath 3. 获取标签属性 五 等待元素被加载 六 元素交互操作 七 其他 八 案例:爬取大家车言论 阅读全文
posted @ 2019-03-08 18:27 Maple_feng 阅读(1312) 评论(0) 推荐(1) 编辑
摘要: 一 介绍 二 基于GET请求 1、基本请求 2、带参数的GET请求->params 3、带参数的GET请求->headers 4、带参数的GET请求->cookies 三 基于POST请求 1、介绍 2、发送post请求,模拟浏览器的登录行为 3、补充 四 响应Response 1、response 阅读全文
posted @ 2019-03-08 17:25 Maple_feng 阅读(1877) 评论(3) 推荐(0) 编辑
摘要: 一、简介爬虫 1.什么是爬虫 2.爬虫的基本原理 3.Request 4.Response 二、requests库 三、selenium库 四、BeautifulSoup库 五、Scrapy框架 阅读全文
posted @ 2019-03-08 17:06 Maple_feng 阅读(4349) 评论(0) 推荐(3) 编辑