Python网络爬虫与信息提取(一)(入门篇)
①爬取工具:MySQL数据库
Navicat for mysql
编程语言python3
集成开发环境pycharm(community)
Python包管理器Anaconda3
②基本知识:(1)request库:
requests库的七个主要方法
requests.request() ==> 构造一个请求,支撑以下各方法的基础方法
requests.get() ==> 获取HTML网页的主要方法,对应于HTTP的GET
requests.head() ==> 获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post() ==> 向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put() ==> 向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch() ==> 向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete() ==> 向HTML页面提交删除请求,对应于HTTP的DELETE
Requests库的两个重要对象分别是Response和Request
其中Response对象包含爬虫返回的全部信息
Response对象的属性
r.status_code ==> HTTP请求的返回状态,200表示连接成功,404表示连接失败
r.text ==> HTTP响应内容的字符串形式,即,url对应的页面内容
r.encoding ==> 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding ==> 从内容中分析出的响应内容编码方式(备选编码方式)
r.content ==> HTTP响应内容的二进制形式
Response的编码
Requests库的异常
requests.ConnectionError ==> 网络连接错误异常,如DNS查询失败、拒绝连接等
requests.HTTPError ==> HTTP错误异常
requests.URLRequired ==> URL缺失异常
requests.TooManyRedirects ==> 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout ==> 连接远程服务器超时异常
requests.Timeout ==> 请求URL超时,产生超时异常
爬取网页的通用代码框架
import requests def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() #如果状态不是200,引发HTTPError异常 r.encoding=r.apparent_encodinng return r.text except: return "产生异常" if _name_ == "_main_": url="http://www.baidu.com" print(getHTMLText(url))
Requests函数包括十三个访问控制参数
requests.request(method,url,**kwargs)
**kwargs: 控制访问的参数,均为可选项
①params: 字典或字节序列,作为参数增加到url中
>>>kv={'key1':'value1','key2':'value2'} >>>r=requests.request('GET','http://python123.io/ws',params=kv) >>>print(r,url) http://python123.io/ws?key1=value1&key2=value2
②data: 字典、字节序列或文件对象,作为Request的内容
>>>kv=('key1':'value1','key2':'value2') >>>r=requests.request('POST','http://python123.io/ws',data=kv) >>>body='主体内容' >>>r=requests.request('POST','http://python123.io/ws',data=body)
③json: JSON格式的数据,作为Request的内容
>>>kv={'key1':'value1'} >>>r=requests.request('POST','http://python123.io/ws',json=kv)
④headers: 字典,HTTP定制头
>>>hd={'user-agent';'Chrome/10'} >>>r=requests.request('POST','http://python123.io/ws',headers=hd)
⑤cookies(是request库的高级功能): 字典或Cookie.Jar , Request中的cookie
⑥auth(是request库的高级功能): 元组, 支持HTTP认证功能
⑦files: 字典类型,传输文件
>>>fs={'file': open('data.xls','rb')} >>>r=requests.request('POST','http://python123.io/ws',files=fs)
⑧timeout: 设定超时时间,秒为单位
>>>r=requests.request('GET','http://www.baidu.com',timeout=10)
⑨proxies: 字典类型,设定访问代理服务器,可以增加登录认证
>>>pxs={'http':'http://user:pass@10.10.1:1234' 'https':'https://10.10.10.1:4321'} >>>r=requests.request('GET','http://www.baidu.com',proxies=pxs)
⑩allow_redirects: True/False,默认为True,重定向开关
⑪stream: True/False,默认为True,获取内容立即下载开关
⑫verify: True/False,默认为True,认证SSL证书开关
⑬cert: 本地SSL证书路径
Requests库网络爬取简单实例
①百度360搜索关键词提交:
搜索引擎关键词提交接口:
百度的关键词接口:http://www.baidu.com/s?wd=keyword
360的关键词接口:http://www.so.com/s?q=keyword
百度搜索全代码:
import requests keyword="Python" try: kv={'wd':keyword} r=requests.get("http://www.baidu.com/s" , params=kv) print(r.request.url) r.raise_for_status() print(len(r.text)) except: print("爬取失败")
360搜索全代码:
import requests keyword="Python" try: kv={'q':keyword} r=requests.get(http://www.so.com/s , params=kv) print(r.request.url) r.raise_for_status() print(len(r.text)) except: print("爬取失败")
②网络图片的爬取和存储:
网络图片链接的格式:
http://www.example.com/picture.jpg
图片爬取全代码:
import requests import os url="http://image.ngchina.com.cn/2019/0707/20190707123014213.jpg" root="D://pictures//" path=root+url.split('/')[-1] try: if not os.path.exists(root): os.mkdir(root) if not os.path.exists(path): r=requests.get(url) with open(path,'wb') as f: f.write(r.content) f.close() print("文件保存成功") else: print("文件已存在") except: print("爬取失败")
③IP地址归属地的自动查询:
IP地址查询的全代码:
import requests url="http://m.ip138.com/ip.asp?ip=" try: r=requests.get(url+'202.204.80.112') r.raise_for_status() r.encoding=r.apparent_encoding print(r.text[-500:]) except: print("爬取失败")
-
④添加headers:
-
和前面我们将urllib模块的时候一样,我们同样可以定制headers的信息,如当我们直接通过requests请求知乎网站的时候,默认是无法访问的,会得到如下错误:
因为访问知乎需要头部信息,这个时候我们在谷歌浏览器里输入chrome://version,就可以看到用户代理,将用户代理添加到头部信息
import requests headers = { "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36" } response =requests.get("https://www.zhihu.com",headers=headers) print(response.text)