网络爬虫

网络爬虫

1. 定义

   • 网络爬虫：也叫网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理，他是按照一定的规则，自动的抓取万维网程序或脚本，可以自动采集所有其能访问的页面内容，以获取相关数据

2. 从功能来看，一般分为三部分

   1. 数据采集

   2. 数据处理

   3. 数据存储

3. 为什么要使用爬虫，其有哪些优势？

   1. 可以实现搜索引擎

   2. 大数据时代可以让我们获得更多的数据源

   3. 可以更好地进行搜索引擎的优化（SEO)

   4. 有利于就业