爬虫学习03常用模块

一.requests

1. requests.get(url,headers)
2.requests.post(url, headers, data)
 
 
 
 

二.urllib

from urllib import request
1.request.urlretreieve(url, filename)   对url地址内的资源
 
 

三.lxml

from lxml import etree
1.etree.HTML()
 

四.selenium 

1.什么是selenium:selenium是一个python的第三方模块,对外提供了控制浏览器的接口,可以让浏览器完成自动化的操作.
2.环境搭建: 
        1.安装: pip install selenium
        2.获取一款浏览器的驱动程序(谷歌)              
             a.谷歌浏览器驱动下载地址:http://chromedriver.storage.googleapis.com/index.html
             b.下载的驱动程序必须和浏览器的版本统一,根据http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应
posted @ 2018-07-06 13:38  古月蜀黍  阅读(100)  评论(0编辑  收藏  举报