网站收录

要添加sitemap文件,和robots.txt文件,要让爬虫知道你的网站的目录结构。否则你的网站收录的页面会很少的

posted @ 2009-09-02 09:15  y0umer  阅读(80)  评论(0编辑  收藏  举报