摘要：
今天在对一个String对象进行拆分的时候，总是无法到达预计的结果。呈现数据的时候出现异常，后来debug之后才发现，错误出在String spilt上，于是开始好好研究下这东西，开始对api里的split(String regex, int limit)比较感兴趣，可是就是不理解当limit为负数... 阅读全文
摘要：
publicclassTest{publicstaticvoidmain(String[]args){Stringstr[]={"s","f"};//test(); //可以为空//test("www"); //一个string//test(str); //一个string数组test... 阅读全文
摘要：
新建一个专门的测试类，代码如下：wordcount的map函数输入string line, 输出右键-> run as junit出错了，因为输出不是期望的值，错误如下：少一个输出，也会出错：正确的结果： 阅读全文
摘要：
所以 上面的configuration的set可以省略，但是也可以自己改变设置，如下所示： 阅读全文
摘要：
1、chgrp(改变文件所属用户组) chgrp 用户组 文件名 ###就是这个格了。如果整个目录下的都改，则加-R参数用于递归。 如：chgrp -R user smb.conf2、chown(改变文件拥有者) 格式： A：chown 用户名 文件/目录 B：chown 用户名：用户组：文件/目录... 阅读全文
摘要：
在HDFS上面，FileSystem创建目录复制本地文件到HDFS获取集群中的节点 阅读全文
摘要：
关闭TSVNCache.exe进程在Windows下使用SVN，通常都会安装TortoiseSVN，安装后会有一个TSVNCache.exe的进程驻留内存，这个进程会定时地去扫描Subversion管理的文件夹/文件是否被修改了，一旦发现有更新，那本地的这些有更新的文件/文件夹就会被更新，这个动作不... 阅读全文
摘要：
阅读本文可以带着下面问题：1.map和reduce的数量过多会导致什么情况？2.Reduce可以通过什么设置来增加任务个数？3.一个task的map数量由谁来决定？4.一个task的reduce数量由谁来决定？一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那... 阅读全文
摘要：
在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理，再进行reduce，经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理，这样的Job是不会保存中间结果的，并大大减少了I/O操作。例如：在一个Job中，按顺序执行 MAP1->MAP2->REDU... 阅读全文