摘要: http协议0.9,1.0,1.1和2.0版本的区别之处? 0.9是第一个版本,只允许客户端发送get请求,且不支持请求头,所以只支持纯文本,无法插入图片,具有典型的无状态性,每个事务独立进行处理,事务结束时就会释放这个连接,如果请求的页面不存在,也不会返回任何错误码 1.0支持get,post,h 阅读全文
posted @ 2020-04-10 11:46 godlover 阅读(330) 评论(0) 推荐(0) 编辑
摘要: 自动登录网站 # 模拟登录网站 import requests ret = requests.post('http://www.aa7a.cn/user.php', data={ 'username': '18055525400@163.com', 'password': 'yaodas282507 阅读全文
posted @ 2020-04-10 10:39 godlover 阅读(792) 评论(0) 推荐(0) 编辑
摘要: 爬取梨视频 #categoryId=9 分类id #start=0 从哪个位置开始,每次加载12个 # https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=9&start=0 import requests impo 阅读全文
posted @ 2020-04-10 09:18 godlover 阅读(373) 评论(0) 推荐(0) 编辑
摘要: 爬虫简介: 1.本质是:模拟发送http请求(request)--》解析返回数据(re,bs4, lxml,json)--》入库(redis, mysql,mongodb) 2.用app爬虫:本质一模一样 3.python做爬虫的优势:包多,有很多爬虫框架:scrapy:性能很高的爬虫框架,爬虫届的 阅读全文
posted @ 2020-04-10 09:13 godlover 阅读(468) 评论(0) 推荐(0) 编辑