day37 爬虫2(web微信、高性能相关、Scrapy)
s16day37 爬虫2
参考博客：http://www.cnblogs.com/wupeiqi/articles/6229292.html
课堂代码：https://github.com/liyongsan/git_class/tree/master/day37/
内容回顾：
1. Http协议
Http协议：GET / http1.1/r/n...../r/r/r/na=1
TCP协议：sendall("GET / http1.1/r/n...../r/r/r/na=1")
2. 请求体
GET: GET / http1.1/r/n...../r/r/r/n
POST:
POST / http1.1/r/n...../r/r/r/na=1&b=2
POST / http1.1/r/n...../r/r/r/{"k1":123}
PS: 依据Content-Type请求头
3. requests模块
- method
- url
- params
- data
- json
- headers
- cookies
- proxies
4. BeautifulSoup4模块
HTML
XML
5. Web微信
- 轮训
- 长轮训
今日内容概要：
1. Web微信
2. 高性能相关
3. Scrapy
内容详细：
1. Web微信
- 防盗链
- headers
- cookies
- 检测请求
- url
- Session中：
- qcode
- ctime
- login_cookie_dict
- ticket_dict_cookie
- ticket_dict
- init_cookie_dict
- 收发消息
2. 高性能相关
基本原理：
IO多路复用：select，用于检测socket对象是否发生变化(是否连接成功，是否有数据到来)
Socket：socket客户端
import socket
import select
class Request(object):
def __init__(self,sock,func,url):
self.sock = sock
self.func = func
self.url = url
def fileno(self):
return self.sock.fileno()
def async_request(url_list):
input_list = []
conn_list = []
for url in url_list:
client = socket.socket()
client.setblocking(False)
# 创建连接,不阻塞
try:
client.connect((url[0],80,)) # 100个向百度发送的请求
except BlockingIOError as e:
pass
obj = Request(client,url[1],url[0])
input_list.append(obj)
conn_list.append(obj)
while True:
# 监听socket是否已经发生变化 [request_obj,request_obj....request_obj]
# 如果有请求连接成功：wlist = [request_obj,request_obj]
# 如果有响应的数据： rlist = [request_obj,request_obj....client100]
rlist,wlist,elist = select.select(input_list,conn_list,[],0.05)
for request_obj in wlist:
# print('连接成功')
# # # # 发送Http请求
# print('发送请求')
request_obj.sock.sendall("GET / HTTP/1.0\r\nhost:{0}\r\n\r\n".format(request_obj.url).encode('utf-8'))
conn_list.remove(request_obj)
for request_obj in rlist:
data = request_obj.sock.recv(8096)
request_obj.func(data)
request_obj.sock.close()
input_list.remove(request_obj)
if not input_list:
break
使用一个线程完成并发操作，如何并发？
当第一个任务到来时，先发送连接请求，此时会发生IO等待，但是我不等待，我继续发送第二个任务的连接请求....
IO多路复用监听socket变化
先连接成功：
发送请求信息： GET / http/1.0\r\nhost....
遇到IO等待，不等待，继续检测是否有人连接成功：
发送请求信息： GET / http/1.0\r\nhost....
遇到IO等待，不等待，继续检测是否有人连接成功：
发送请求信息： GET / http/1.0\r\nhost....
有结果返回：
读取返回内容，执行回调函数
读取返回内容，执行回调函数
读取返回内容，执行回调函数
读取返回内容，执行回调函数
读取返回内容，执行回调函数
读取返回内容，执行回调函数
读取返回内容，执行回调函数
问题：什么是协程？
单纯的执行一端代码后，调到另外一端代码执行，再继续跳...
异步IO：
- 【基于协程】可以用 协程+非阻塞socket+select实现，gevent
- 【基于事件循环】完全通用socket+select实现,Twsited
1. 如何提高爬虫并发？
利用异步IO模块，如：asyncio,twisted,gevent
本质：
- 【基于协程】可以用 协程+非阻塞socket+select实现，gevent
- 【基于事件循环】完全通用socket+select实现,Twsited，tornado
2. 异步非阻塞
异步：回调 select
非阻塞：不等待 setblocking(False)
3. 什么是协程？
pip3 install gevent
from greenlet import greenlet
def test1():
print(12)
gr2.switch()
print(34)
gr2.switch()
def test2():
print(56)
gr1.switch()
print(78)
gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()
3. 爬虫
- request+bs4+twisted或gevent或asyncio
- scrapy框架
- twisted
- 自己html解析
- 限速
- 去重
- 递归，找4层
- 代理
- https
- 中间件
....
- 安装scrapy
依赖Twisted
- 开始写爬虫
执行命令：
scrapy startproject sp1
sp1
- sp1
- spiders 爬虫
- xx.py
- chouti.py
- middlewares 中间件
- pipelines 持久化
- items 规则化
- settings 配置
- scrapy.cfg
cd sp1
scrapy genspider xx xx.com
scrapy genspider chouti chouti.com
- scrapy crawl chouti
name
allow_domains
start_urls
parse(self,response)
yield Item
yield Request(url,callback)
本周任务：
1. Web微信
2. 高性能示例保存
3.
- 煎蛋
- 拉钩
- 知乎
- 抽屉
