2018年7月25日
爬虫学习笔记
摘要： 1.爬虫核心： 爬去网页解析数据 难点：爬虫与反爬虫的博弈 2.爬虫分类： 通用爬虫： 实例：谷歌，百度，搜狗 功能：访问网页-抓取数据-数据存储-数据处理-提供检索服务 抓取过程： 给定一些起始URL，放入待爬取队列 从队列中获取url对象，开始爬取数据 分析网页，获取网页内所有的URL，入队，继 阅读全文
posted @ 2018-07-25 10:49 _H0f 阅读(212) 评论(0) 推荐(0) 编辑