摘要：
使用vs打开网站的方式分为两种。1）点击“在浏览器中查看”无反应的话，就点击“浏览方式”，选择一个浏览器进行查看。2）第二中是直接点击调试按钮，结果浏览器无反应。以上两种方法不成功的原因都是浏览器的问题，随便选一个浏览器重新将其设置为默认浏览器即可。 阅读全文
摘要：
目前来看，导致hdfs一直处于safemode模式最直接的原因是已成功复制的块的比例没有达到默认值，块的损坏也会造成一直处于安全模式。1)文件系统中有损坏的文件，使用fsck命令来查看hadoop fsck /以上是查看hdfs的根目录下的所有文件健康状况，如果有损坏的文件，就会提示： The fi... 阅读全文
摘要：
1）使用BufferedWriter写文件。一亿条记录 1 package nioTest; 2 import java.io.BufferedWriter; 3 import java.io.FileWriter; 4 import java.io.IOException; 5 import ja... 阅读全文
摘要：
一般来说，利用复合键值对使用MR对键值对进行二次排序(MR默认只是对key排序，自定义的方式还对value排序就称为二次排序)，需要做四件事： 1）以下代码只是实现了第一点和第二点，也可以实现二次排序。 A.主类：keySort B.自定义复合键值对类 compositeKey @Override就 阅读全文
摘要：
1）迭代MapReduce计算任务，就是在一个循环内多次执行一个MapReduce。2）顺序组合式MapReduce作业的执行MapReduce1—>MapReduce2—>MapReduce3MapReduce1的输出作为MapReduce的输入，MapReduce2的输出作为MapReduce3... 阅读全文
摘要：
1 import java.io.IOException; 2 import org.apache.hadoop.conf.Configuration; 3 import org.apache.hadoop.io.*; 4 import org.apache.hadoop.mapreduc... 阅读全文
摘要：
1）点击菜单中的“运行按钮”，然后选择调试配置2）3）这里配置输入路径和输出路径，注意在eclipse上只是在单机模式下Hadoop不会使用HDFS，也不会开启任何Hadoop守护进程，所有程序将在一个JVM上运行并且最多只允许拥有一个reducer。所以这里配制成本地路径。4）出现这种情况的原因是... 阅读全文
摘要：
1 #!/bin/bash2 for i in `seq 1 $1`3 do4 for j in `seq 1 $2`5 do 6 s=$(($RANDOM%100))7 echo -e "$i,$j\t$s" >>M_$1_$28 d... 阅读全文
摘要：
如上次分析，其实map函数中的context.write()调用过程如下所示： 梳理下调用过程，context的write方法其实是调用了TaskInputOutputContext类的write方法，而在这个write方法内部又调用了output字段的write方法，这个output字段是N... 阅读全文
摘要：
序列化就是将对象的状态(类名，类的字段等)保存下来(比如以文件的形式保存下来)，序列化分为两大流派：文本和二进制。文本的有点很明显，可读性强，而要读懂二进制形式的序列化，也就是反序列化就要按照序列化时候的“协议”对每个二进制位(实际上是十六进制表示)进行“翻译”，二进制形式的序列化的优点是方便网络传... 阅读全文