摘要:
前言今年上半年就主要和微软的SharePoint打交道了,没想到我也有忙的不可开交的时候,时间过得真快。总的来说,我们希望对60,000,000个页面进行爬网和索引,从而提供搜索的功能。撇开具体的需求不说,第一步肯定是抓取数据。为了保证数据能够在较短的时间内抓取完毕,服务器场的部署和搜索拓扑规划是非常重要的。这篇文章也主要记录这个方面的内容,写这篇文章的目的主要是备忘(同时,由于接触部署时间不长,有错误的地方希望大家斧正)。三层服务器场总体规划为三层服务器场,即WEB前端,应用程序(Application)和数据库。WEB层主要是通过IIS承载WEB站点,提供访问入口。Application层 阅读全文