01.认识爬虫

爬虫是什么？有人叫它网络蜘蛛 也有人叫它网络机器人...

现在许多人掉入到理解误区，认为爬虫就是黑客，是非法的一种技术手段，其实并不是，我想说的是：网络技术本来就是研究的一门学问。

爬虫也不是黑客，爬虫能干的事情人都可以干，我们可以理解爬虫就是'超级人'

爬虫可以达到人达不到的高度，大大提高工作,应用,浏览...等方面的效率

再官方一点就是自动化操作,能模拟人的操作去做各种事情

 

谈谈爬虫的功能：

爬虫用来做大数据采集：

在APP WEB端上将数据爬取下来，放在自己的电脑上。

爬虫还能做搜索引擎：

其实百度就是一个巨大的网络爬虫，你去搜索的关键词，这个强大的网络爬虫体系就会去各个地方采集信息，

然后按照一定的格式反馈给用户。

 

爬虫学习之路：

爬虫的知识点非常零散化，是一门需要一直研究的技术，原因在于有反爬虫工程师在与你一直对抗着。

反爬虫：你要爬取我的数据，我就设置一堆参数加密...之类的不让你爬

爬虫：想尽一切办法破开你设置的参数加密...拿到数据

 

爬虫需要掌握的技能：

较好的Python基础 + 前端的一定知识 + 数据敏感程度高 + 部分机器学习 + 抓包工具 + 'APP抓取' + '反爬对抗' + JS逆向(食物链顶端的存在) 

最重要的都在反爬对抗与JS逆向

结束