摘要: 什么是requests模块 了解爬虫的人都知道,爬虫总共分为四部分,发送请求,获取响应,解析数据,保存数据,发送请求可能是爬虫的起点,或者说是第一步,更是重点。 而requests模块是python中基于网络请求的模块,或者可以说是发送请求的模块,它通过模拟浏览器发起请求,虽然它的语法相对比较简单, 阅读全文
posted @ 2019-04-17 22:17 噼里巴啦 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 最近在学习python爬虫,看到网上有很多关于模拟豆瓣登录的例子,随意找了一个试了下,发现不能运行,对比了一下代码和豆瓣网站,发现原来是豆瓣网站做了修改,增加了反爬措施。 首先看下要模拟登录的网站: 打开开发者模式: 在账号和密码随意填入数据: 发现会发送一个post请求: ur是:https:// 阅读全文
posted @ 2019-04-17 12:32 噼里巴啦 阅读(2544) 评论(1) 推荐(0) 编辑