摘要： 1. 爬虫的概念 : 通过编写代码, 来自动控制浏览器来抓去数据 2. 爬虫协议: robots.txt 协议 , 该协议里面注明了哪些信息允许爬虫 , 哪些不允许 , 违反改协议的爬虫行为可判定为恶意爬虫 , 有承担法律责任的风险 3. HTTP协议 : 是服务器端和客户端进行信息传递的一种协议 阅读全文