摘要:
urllib模块 urllib模块是python中自带的一个基于爬虫的模块。可以使用代码模拟浏览器发起请求 反爬机制:网站检查请求的UA,如果发现UA是爬虫程序,则拒绝提供网站数据。 User-Agent(UA):请求载体的身份标识。 反反爬机制:伪装爬虫程序请求的UA urlib模块发起的post 阅读全文
摘要:
阅读目录 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 import requests import re import time imp 阅读全文