2023年12月4日
第二章：网络爬虫技术
摘要： 搜索引擎的处理对象是互联网网页，目前的网页数量以百亿计算，所以需要设计出高效的下载系统，以将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。而这高效的下载系统就是网络爬虫 通用爬虫框架 通用爬虫框架流程如下： 从互联网页面中精心选择一部分网页，将这些网页的链接地址作为种子URL，将种子 阅读全文
posted @ 2023-12-04 22:37 溯光6 阅读(37) 评论(0) 推荐(0) 编辑