萌@宇

摘要： 1、 首先从http://fuse.sourceforge.net/ 下载fuse版本，我使用的版本是2.8.52、 解压fuse tar -zxf fuse-2.8.5.tar.gz3、 安装cd fuse-2.8.5/configure --prefix=/usrmakemake install/sbin/ldconfig 更新一下动态库。至此，fuse安装完成，可以从fuse官网将example试一下，确定是否安装成功4、 编译dfs-fuse进入$HADOOP_HOME: cd $HADOOP_HOME编译libhdfs: ant compile-c++-libhdfs -Dlibhd 阅读全文

摘要： 在linux下，如果忘记svn密码，是可以找回的。在~/.subversion/auth/svn.simple 下面cat 一下文件，就可以看到密码了。 阅读全文

摘要： http://www.ibm.com/developerworks/cn/linux/l-cn-sshforward/ 阅读全文

摘要： ant -Dcompile.c++=true -Dlibhdfs=true compile-c++-libhdfs 需要注意的是编译后会根绝jvm的版本32位还是64位，来确定编译后的版本。 阅读全文

摘要： 线上有16台测试scribe的机群，配置结束后，跑benchmark，没有问题。可是跑过一段时间后，发现很多job被pending住，报的错是：Error initializing attempt_201204030722_0004_m_000002_0: ENOENT: No such file or directory at org.apache.hadoop.io.nativeio.NativeIO.chmod(Native Method) at org.apache.hadoop.fs.FileUtil.execSetPermission(FileU... 阅读全文

摘要： Mapreduce framework 同hdfs架构有类似的部分，分为JobTracker(对应Namenode)，TaskTracker（对应Datanode），Job（对应DFSClient)。功能虽然不太相同，但是原理还接近。 总结一下Job的流程。Job是对JobClient的封装，Job本身功能比较简单，无非是获得各种参数，将参数封装好，向JobTracker提交job的过程。但是JobClient内部还是有些流程的。 1、在提交Job时候，首先JobClient向JobTracker要求获得一个unique的ID，即JobID JobID jobId = jo... 阅读全文

摘要： 目前，hadoop社区有几个不同的分支版本，各个版本之前又相互联系。以下是几个主要版本的一些介绍。 0.20.2是一个stable的版本，他又几个子版本，0.20.203 具有security特性，但是不具有append和raid功能。 0.20-append具有append功能没有security。0.20.205是0.20-append和0.20.203merge，具有append和security，没有raid，symlink等。1.0及之后的版本都是从0.20.205开始的。是稳定版本。 0.21 具有append，raid和symlink功能，激进的特性，没有security... 阅读全文

摘要： hadoop集群之间有时候需要将数据进行迁移，如将一些保存的过期文档放置在一个小集群中进行保存。 使用的是社区提供的功能，distcp。用法非常简单： hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo 加上参数 -i 表示不用去管failure -m 设置map数 阅读全文

摘要： sed命令中，使用单引号来制定操作，如sed 's/regular/replace/'。如果想在单引号中转义单引号采用转义字符是不行的。解决的方法是把sed部分用单引号分割开，在外面转义。如ed -i '$a\alias vi='\''vim'\''' ~/.bashrc 。 阅读全文

摘要： 每天通过ssh连接远程会话，下班前没有关上，结果第二天还得重新去连接，十分麻烦。有没有好的办法能够简化这种工作，可以通过以下的技巧，参见这篇文章。 http://www.ibm.com/developerworks/cn/linux/l-cn-screen/ 文章中的C-a 就是ctral a。 阅读全文