2014年5月22日
摘要: robots.txt的主要作用是告诉蜘蛛爬虫该网站下哪些内容能抓取,哪些内容不能抓取。虽然可以没有robots.txt这个文件,默认就抓取该网站的所有文件,对搜索引擎爬虫没有任何的影响,但是如果你想控制蜘蛛的检索间隔,你就必须用robots.txt来控制。robots.txt不是一种规范,是约定俗成... 阅读全文
posted @ 2014-05-22 23:35 oray 阅读(1191) 评论(0) 推荐(0) 编辑
摘要: lang属性:HTML语言声明属性,用来定义当前文档显示的语言。如:lang="en"表示定义语言为英文;lang="zh-CN"表示定义语言为中文。其实对于文档显示来说怎样写都无所谓,定义成en的文档也可以显示中文,定义成zh-CN的文档也可以显示英文。但还是应该遵循标准,毕竟这个属性对浏览器和搜... 阅读全文
posted @ 2014-05-22 23:04 oray 阅读(8649) 评论(0) 推荐(0) 编辑
摘要: 写了个sublime的模版插件, 项目主页: https://github.com/kairyou/sublimeTmpl这样就可以新建文件时使用模版的内容了, 目前添加了html/js/css/php/python/ruby的模版. 不需新建空白文件, 再从其他文件复制内容过来了.已增加对Subl... 阅读全文
posted @ 2014-05-22 13:33 oray 阅读(673) 评论(0) 推荐(0) 编辑