摘要: 作者:Gupta, P. ; Johari, K. ; Linagay's Univ., India 文章发表在: Emerging Trends in Engineering and Technology (ICETET), 2009 2nd International Conference on pages 838~844 摘要-万维网是一个通过HTML格式使数十亿的文件产生联系的集合 ,然后如此规模庞大的数据已经成为信息检索的障碍,用户为了查找自己想要的资料可能要翻转数页。网络爬虫是搜索引擎的核心部分,网页爬虫持续不断的在互联网上爬行来寻找任何新的增加到网络中的页面和已经从网上删 阅读全文
posted @ 2011-03-06 00:47 ShaPherD 阅读(22083) 评论(20) 推荐(10) 编辑
摘要: 这里说的测试不单纯是某些测试书上常说的测试, 也包括测试开发。我理解测试的职责主要包括:2V+EP: validition+verification+Engineer productivity流程管理: 介绍下传统流程和敏捷流程从这两方面介绍下测试需要做的事情。validition即正确性检查可以概括为以上几点,每个工作都可以做很多事情verification+Engineerproductivity 效果验证和工程师生产力(效果级别的目前接触的不多, 所以放在一起说了)这里面的效果验证一直没有挖掘出太多可以做的地方, 我针对的是后台测试相关的, 作为后台的一个模块或者一些算法, 很难直接在用 阅读全文
posted @ 2013-08-22 21:10 ShaPherD 阅读(10911) 评论(14) 推荐(4) 编辑
摘要: 之前用gtest写过很多c++的单测case, 对gtest的强大和灵活印象深刻;最近需要用ruby写一个小工具, 接触了下ruby, 写了代码就要写单测啊(好的单测确实对代码的健壮性和正确性保证上太重要了)简单搜了下发现 单测是ruby的一部分, 而不像c++等要引用gtest等三方库,简单可依赖, 简单写个例子代码:module Brtest class Myfile def write(theFile,theCont) _fileName=File.dirname(__FILE__)+"/tmp/"+theFile Dir.m... 阅读全文
posted @ 2013-08-18 17:33 ShaPherD 阅读(2424) 评论(1) 推荐(0) 编辑
摘要: 简介hadoop 支持reduce多路输出的功能,一个reduce可以输出到多个part-xxxxx-X文件中,其中X是A-Z的字母之一,程序在输出对的时候,在value的后面追加"#X"后缀,比如#A,输出的文件就是part-00000-A,不同的后缀可以把key,value输出到不同的文件中,方便做输出类型分类, #X仅仅用做指定输出文件后缀, 不会体现到输出的内容中使用方法启动脚本中需要指定-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat或者-outputformat o 阅读全文
posted @ 2012-12-21 13:59 ShaPherD 阅读(10909) 评论(0) 推荐(1) 编辑
摘要: 简介在写shell脚本的时候会用到很多的数学运算,简单的一个游标+1 -1, 或者更多一点的浮点运算等,shell中数学计算稍麻烦,我想每个人都试过var=1+1或者var=$xxx+1这类错误。 下面对shell中做数学计算小做总结示例使用expr整数运算> var=1> var=`expr $var + 1`> echo $var2其他的减乘除类似, 要注意乘法中的*号需要做转义\*即可使用bash内建命令let> var=2> let "var=var+1"> echo $var3> let "var=(2+2-1) 阅读全文
posted @ 2012-12-21 12:03 ShaPherD 阅读(30599) 评论(0) 推荐(3) 编辑
摘要: 简介shell 中!叫做事件提示符,英文是:Event Designators,可以方便的引用历史命令, 也就是history中记录的命令用法! 当后面跟随的字母不是“空格、换行、回车、=和(”时,做命令替换!n 会引用history中的第n个命令,比如输入!100,就是执行history列表中的第100条命令> history | grep echo1013 2012-12-20 12:24:40 echo ""1014 2012-12-20 12:24:45 echo "22"> !1014 echo "22"22!- 阅读全文
posted @ 2012-12-20 13:23 ShaPherD 阅读(16999) 评论(1) 推荐(3) 编辑
摘要: 伴随着高节奏的生活节拍, 我们更多的是去应和,而很少自己主动的去掌握生活节奏。 而这部分人基本都是有文化的 面向群体: 有点上进心的人, 并且处在较高的生活压力之中,又会忙里偷闲的督促自己读书。 为什么选择blog模式: blog模式是以个人为中心, 分享为次要的一种形式。 相比较而言, sns更注重社交, 会淡化读书,不能够保持读书的这么一种题材;论坛的形式更不够注重个人,更注重的是信息分享和讨论; 豆瓣形式比较杂, 什么都有 不适合起步, 并且豆瓣读书做的还是很好的, 必须要做差异化,另外豆瓣上的用户一般都比较有个性,并且比较活跃,所以必须要产品做好了才能够觊觎这部分用户,做好体验和功能。 阅读全文
posted @ 2012-02-21 10:23 ShaPherD 阅读(1715) 评论(12) 推荐(4) 编辑
摘要: 最近在linux上创建目录的时候出现mkdir:Cannot create directory***: No space left on device, 但是df的时候发现空间还有几百G(有同事是中文的机器出现Mkdir: 无法创建目录***,设备上没有空间)。不能继续创建目录或者touch文件的原因是Inode满了。Inode的数量是有限制的,每个文件对应一个Inode, 那么如何查看inode的最大数量呢,1234[work@*** ~]$ df -iFilesystem Inodes IUsed IFree IUse% Mounted on/dev/cciss/c0d0p2 115417 阅读全文
posted @ 2012-02-07 16:31 ShaPherD 阅读(2245) 评论(0) 推荐(2) 编辑
摘要: 总感觉有忙不完的事情, dreanhost的空间到期两个月了, 一直没管这个blog, google 和百度的收录又全没了。 杯了个具的,说到这个就来气, dreanhost的空间实在是太不给力了, 和与人合租有一定关系, 网站总是挂, 挂了就要自己去更换ip, 很麻烦, dreanhost的更换好了再去更新下godaddy, 最后实在忍不了了, 挂了就一直放那里, 没管了, 一直等到过期才换新空间, 哎,人的心理啊, 有个空间,即使不能用也感觉自己还有一个, 随时努力下都可以继续使用(虽然一直没用), 等过期了之后老老实实的换了。这次在香港买的vps, 速度还不错。 主要是价钱比较便宜, 感 阅读全文
posted @ 2012-01-11 11:58 ShaPherD 阅读(399) 评论(7) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2012-01-02 19:36 ShaPherD 阅读(0) 评论(0) 推荐(0) 编辑
摘要: 时间过的真是超快啊,难道是自己太忙了? 我想很多程序员应该都有这种感觉, 新的任务来了, 开始忙, 整天的赶着进度,设计、编码、汇报, 周而复始;我们做测试研发的呢,就是不停的测试,自动化工具, 推敏捷,不断的想怎么完善流程,把工作做的更好更强大。 然后一晃一天过去了,不对,是一个月、半年。 小点的公司可能周末还要加一天班,节假日上个一两天应该很常见;像我们大点的公司呢,所有节假日都照常,所有就有了点闲暇的时间,像周末闲暇时间比较少呢可能就是简单的休息一下, 像元旦十一等假日长点就会蛋疼一下:时那么忙,突然闲下来,我靠,没事做。 元旦了,我也蛋疼了,于是就有这了这片蛋疼的文章。 前几天刚做完. 阅读全文
posted @ 2012-01-01 00:32 ShaPherD 阅读(2370) 评论(18) 推荐(4) 编辑