1.对爬虫的认识
1.什么是爬虫?
就是通过编写程序模拟浏览器上网，让其去互联网中抓取数据的过程。
2.爬虫的分类：
通用爬虫：爬取一整张页面源码数据。
聚焦爬虫：爬取页面中局部的数据。一定是在通用爬虫的基础上实现。(数据解析)
增量式爬虫：用来监测网站数据更新的情况。以便于爬取最新更新出来的数据！
3.爬虫合法性探究：
爬虫的风险体现：
爬虫干扰了被访问网站的正常运营；
爬虫抓取了受到法律保护的特定类型的数据或信息。
4.如何规避风险：
严格遵守网站设置的robots协议；
在规避反爬虫措施的同时，需要优化自己的代码，避免干扰被访问网站的正常运行；
在使用、传播抓取到的信息时，应审查所抓取的内容，如发现属于用户的个人信息、隐私或者他人的商业秘密的，应及时停止并删除。
5.反爬机制
robots协议：存在于服务器端的一个纯文本的协议。
User-Agent:就是请求载体的身份标识。
特点：防君子不放小人
6.反反爬策略
7.http的头信息
User-Agent
Connection：‘close’
content-type
2.爬虫工具jupyter
1.什么是anaconda
是一个基于数据分析+机器学习的集成环境。
2.什么是jupyter（超级终端）
是anaconda中的一个基于浏览器可视化的编码工具
在指定目录下启动终端：录入jupyter notebook指令开辟指定的服务。
3.cell的两种模式:cell必须要经过执行才可看到效果
MarkDown：编写笔记。兼容markdown的语法和html标签
Code：编写代码。
