摘要: 1.什么是爬虫 通过编写程序模拟浏览器上网,然后让其去互联网上爬取数据的过程 2.爬虫的分类: 通用爬虫:爬取一整张页面源码数据 聚焦爬虫:爬取页面中指定的局部数据 增量式爬虫:检测网站数据更新的情况,爬取的就是网站中最新更新出来的数据。 3.反爬机制: (1)第一个反爬机制 robots.txt协 阅读全文
posted @ 2019-06-11 20:54 五仁儿 阅读(169) 评论(0) 推荐(0) 编辑