摘要: urllib模块 urllib模块是python中自带的一个基于爬虫的模块。可以使用代码模拟浏览器发起请求 反爬机制:网站检查请求的UA,如果发现UA是爬虫程序,则拒绝提供网站数据。 User-Agent(UA):请求载体的身份标识。 反反爬机制:伪装爬虫程序请求的UA urlib模块发起的post 阅读全文
posted @ 2019-04-22 17:09 下山打老虎i 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 阅读目录 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 import requests import re import time imp 阅读全文
posted @ 2019-04-22 15:21 下山打老虎i 阅读(294) 评论(0) 推荐(0) 编辑