python 爬虫基本
一、爬虫主要是实现对网页上自己喜欢的资源的爬取。
1、python自带的urllib
html = urllib.request.urlopen('网站').read()
2、第三方库requests
resp = requests.get('网站').text
如果返回的结果没有保存且没有报错,那么说明你访问的网站有反爬虫机制一般处理方法
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'} resp = requests.get('网址', headers=headers) resp_test = resp.text resp.close() // 关闭连接
二、解析方式
1、正则表达式
模块re
2、bs4