网站收录

要添加sitemap文件，和robots.txt文件，要让爬虫知道你的网站的目录结构。否则你的网站收录的页面会很少的

posted @ 2009-09-02 09:15  y0umer  阅读(80)  评论(0)  编辑  收藏  举报