04 2020 档案
摘要：普通的爬虫发送给服务器端的信息只有对于该页面的访问请求。,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息, 而缺失这些信息的请求往往都是非正常的访问,例如爬虫. 有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用
阅读全文
摘要：基本GET请求1. 最基本的GET请求可以直接用get方法 response = requests.get("http://www.baidu.com/") 2. 添加 headers 和 查询参数 如果想添加 headers，可以传入headers参数来增加请求头中的headers信息。如果要将参
阅读全文
