摘要：
1.爬虫的概念 通过编写程序模拟浏览器操作,让其在互联网爬取/获取数据的过程 2.爬虫的分类 通用爬虫:获取一整张页面的数据(是浏览器"抓取系统"的一个重要组成部分) 聚焦爬虫:爬取页面中指定的内容(必须建立在通用爬虫的基础上) 增量式爬虫:通过监测网站数据的更新情况,只怕取最新的数据 3.反爬机制 阅读全文
|
摘要：
1.爬虫的概念 通过编写程序模拟浏览器操作,让其在互联网爬取/获取数据的过程 2.爬虫的分类 通用爬虫:获取一整张页面的数据(是浏览器"抓取系统"的一个重要组成部分) 聚焦爬虫:爬取页面中指定的内容(必须建立在通用爬虫的基础上) 增量式爬虫:通过监测网站数据的更新情况,只怕取最新的数据 3.反爬机制 阅读全文
|