6-14
我在想的一件事情就是相关的问题关于自己的学习计划的问题,自己的学习计划不断的不能完成每一阶段的任务,真的是比较烦的一件事情。
-
分类:通用爬虫、聚焦爬虫、分布式爬虫
-
网络是一个有向图,所以搜索操作可以总结为对有向图的遍历。爬虫通过web页面的图结构从一个页面到另一个页面。
-
Google具有较少的垃圾结果和公平的搜索结果两大优点,其来源于google的pagerank算法和锚点词权重。
-
爬虫技术:A,通用爬虫:从每一个网页尽可能多的找寻链接,去点速度慢占带宽。B,聚焦爬虫:爬取某一主题的文件,节省带宽。C分布式爬虫:多线程爬取。
-
现在爬虫都是同步进行的,有重载、质量和网络等问题。