摘要: 1 .3 背景调研 robots. txt Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。 WHOIS whois是用来查询域名的IP以及所有 阅读全文
posted @ 2017-02-10 15:01 Norwegian-Wood 阅读(1514) 评论(0) 推荐(0) 编辑
摘要: mem cache 英[kæʃ] 美[kæʃ]vt. 贮藏; memcache是一套分布式的高速缓存系统,目前被许多网站使用以提升网站的访问速度,尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著. MemCache的工作流程如下:先检查客户端的请求数据是否在memcached中, 阅读全文
posted @ 2017-02-10 10:35 Norwegian-Wood 阅读(174) 评论(0) 推荐(0) 编辑
摘要: for i in range(n,m) 区间包含n不含m 阅读全文
posted @ 2017-02-10 09:16 Norwegian-Wood 阅读(4312) 评论(0) 推荐(0) 编辑