爬虫常用库
1.requests
1.获取某一个网页
requests.get(url)
请求的参数可以设置headers等。
2.各种请求
requests.post(url,data = {})
requests.delete(url)
requests.head(url)
requests.options(url)
3.获取网页cookie
response = requests.get(url)
response.cookies
for key,value in response.cookies.items():
print(key + "="+value)
让然获取的从cookie是可以加入到请求的(url,cookies = cookies)
一般也会使用cookie jar
jar = requests.cookies.RequestsCookieJar()
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
response = requests.get(url, cookies=jar)
print(response.text)
这是使用的比较多的，使用较少的就不列举了，参考文档：https://www.jianshu.com/p/ecb4d54ad8cf
2.selenium
selenium:一个web自动化测试工具，直接运行在浏览器上
1、导包
from selenium import webdriver
2.加载页面
driver = webdrive.Chrome()
3.页面元素的查找
1.获取id标签值
driver.find_element_by_id()
2.获取name标签值
driver.find_element_by_name()
3.获取标签名值
driver.find_elements_by_tag_name()
4.通过xpath匹配(找一个)
driver.find_element_by_xpath()
5.找所有
driver.find_elements_by_xpath()
6.通过css定位
driver.find_element_by_css_selector()
7.向下滚动到页面底部
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
8.关闭当前所在窗口和退出浏览器
driver.close()
driver.quit()
3.lxml
from lxml import etree html = etree.HTML(text)
4.beautiful soup
beautifulsoup对象
主要的功能也是网页抓取数据，Beautifulsoup自动将输入的文档转换为Unicode编码，输出文档转换为utf-8编码。一般beautifulsoup和lxml一起使用
from bs4 import BeautifulSoup
import lxml
import requests
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
步骤：
1.导入bs4，lxml，requests
2.创建BeautifulSoup对象
soup = BeautifulSoup(html,'lxml')
3.打印soup对象的内容
soup.prettify()格式化输出
4.获取页面信息的四种对象
1.Tag(两个重要的属性name，attrs)
tag为html中的一个个标签
soup.title,soup.head,soup.a,soup.p等
2.NavigableString标签
得到了标签的内容，用.string即可获取标签内部的文字
3.Beautifulsoup
表示的是一个文档的全部内容
4.Comment
5.遍历文档树
1.直接子节点
(1)
tag 的 .content 属性可以将tag的子节点以列表的方式输出
soup.head.contents[0]
(2).children
它返回的不是一个list(list生成器对象)，不过我们可以遍历获取所以的子节点
2.所有子孙节点
.descendants 属性可以对所有tag的子孙节点进行递归循环
3.节点内容
通过.string返回标签里面的内容
4.多个内容
.strings,获取多个内容，需要遍历获取
5.父节点
p = soup.p
print p.parent.name
6.全部父节点
content = soup.head.title.string
for parent in content.parents:
print(parent.name)
7.兄弟节点
.next_sibling 属性获取了该节点的下一个兄弟节点，.previous_sibling 属性获取了该节点的上一个兄弟节点，如果节点不存在，则返回 None
8.全部兄弟节点
.next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出
9.前后节点
.previous_elements .next_element
搜索文档树
find_all(name , attrs , recursive , text , **kwargs )
//css选择器
soup.select()
一般简单网站（对反爬虫没有特别严格），基本上就能使用requests.get(url)直接获取信息，些微麻烦点的需要加上user_agent，等等。那么此处就对反爬的一些策略进行分析。
世界上没有一个网站能做多完美的反爬虫，爬虫与反爬虫的战争就类似于攻与守。
目前比较常规简单有效的手段就是采取后端的反爬虫。
1.user_agent + referer检测
2.账号及cookie验证
3.验证码
4.ip限制频次
对于以上的防范措施，可以使用Chrome selenium或者phantomjs模拟浏览器环境，也就是常说的机器人、tessercat识别验证码、代理ip的替换
以上方法对于一般的网站绰绰有余，反爬更加好一点的，参考下文：http://litten.me/2017/07/09/prevent-spiders/
