网络爬虫

今天突然想到  抓包和爬虫是一回事吗？  看到了有趣的比喻

爬虫

网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。

我们每天使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。

 

抓包：

主机之间的数据通信都是通过网络来进行传输，而将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，就是抓包。

抓包经常被用来进行数据截取与观察，用于获取 HTTP 标头、内容、大小等信息来进行分析，对判断软件的 Debug 很大的帮助。所以，学会抓包，对于排查一些网络问题十分重要。

比如软件开发前后端联调，调用后端接口无反应，这时我们常常会说：“抓个包看看前端传递的数据吧”。又或者我们的网站接入 CDN 之后，想要看一下网站静态资源的缓存时间和自己设置的缓存策略是否一致，也会用到抓包。

 

抓包是了解对方的过程，

爬虫是了解对方后模拟请求获取数据的工具，两者相辅相成，只抓包不写爬虫就像是一个文件你打开之后只能看，不抓包直接写爬虫就像是蒙着眼睛找东西。