11 2020 档案

摘要:利用urllib3爬取百度图片首页图片 import os import urllib3 import re from fake_useragent import UserAgent user_agent= UserAgent() ua = user_agent.random # 1.找到目标数据 阅读全文
posted @ 2020-11-20 22:06 瑾年ぺ 阅读(216) 评论(0) 推荐(0)
摘要:urllib库中的request模块主要负责构造和发起网络请求,并在其中添加headers,proxy等,利用它可以模拟浏览器的请求过程 request的请求流程 ①发起网络请求 ②添加headers ③操作cookies ④使用代理proxy 代码演示: #导包 from urllib impor 阅读全文
posted @ 2020-11-19 20:29 瑾年ぺ 阅读(190) 评论(0) 推荐(0)
摘要:爬虫随机生成user-agent from fake_useragent import UserAgent headers ={ "User-Agent":UserAgent().random} 非常的方便 阅读全文
posted @ 2020-11-19 20:02 瑾年ぺ 阅读(780) 评论(0) 推荐(0)