爬虫防屏蔽策略

1.修改User-Agent
2.禁止cookies
3.设置请求的时间间隔
4.代理IP池
5.使用Selenium模拟人工点击访问
6.破解验证码
7.模拟登陆
8.Crawlera爬虫代理组件
9.tor洋葱网络，匿名发送数据。
10.scrapy-proxies,封装好的ip代理
11.分布式爬取
12.动态加载数据