摘要: 爬取喜马拉雅女频小说快穿分类的前3页html源代码 目标url: https://www.ximalaya.com/category/a3_b5163_c11304/ 第2页:https://www.ximalaya.com/category/a3_b5163_c11304/p2/ 第3页:http 阅读全文
posted @ 2024-09-12 23:50 松鼠q 阅读(6) 评论(0) 推荐(0) 编辑
摘要: GET请求是HTTP协议中的一种基本方法,当需要在GET请求中传递中文参数时需要额外对中文进行编码(英文不需要),因为url中只能包含ascii字符。 可以使用urllib.parser.urlencode()或urllib.parse.quote()方法对中文转码。 详细查官方文档: https: 阅读全文
posted @ 2024-09-12 22:45 松鼠q 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 一些服务器只允许普通浏览器的请求而不允许来自脚本的请求,可以使用urllib.request.Request对象封装请求头的信息(请求头需要以字典的形式封装),伪装成普通浏览器发送请求。 urllib.request.Request(url, data=None, headers={}, origi 阅读全文
posted @ 2024-09-12 18:23 松鼠q 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 使用python标准模块库urllib的requests模块发送请求,读取响应内容并打印出响应内容。 阅读全文
posted @ 2024-09-12 17:00 松鼠q 阅读(14) 评论(0) 推荐(0) 编辑