随笔分类 - hadoop
摘要：1：引入的jar包1.X版本有hadoop-core包；而2.x没有如果你需要hdfs就引入\share\hadoop\common\lib +hadoop-common-2.0.0-cdh4.6.0.jar +hadoop-hdfs-2.0.0-cdh4.6.0.jar +\share\hadoo...
阅读全文
摘要：1：添加节点A：新节点中添加账户，设置无密码登陆B：Name节点中设置到新节点的无密码登陆C：在Name节点slaves文件中添加新节点D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致）E：在新节点中执行./bin/hadoop-daemon.sh start datanode./bin/hadoop-daemon.sh start tasktracker均衡个数据节点中的数据./bin/start-balancer.sh注意1）如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mapred的工作效率 2）设置平衡阈值，默认是10%，值越
阅读全文
摘要：已知child parenta ba cd bd cb eb fc gc hx gx hm xm no xo n则c 2+c+g 2+c+h 1+a+c 1+d+ch 1+c+h 1+x+hd 2+d+b 2+d+cb 1+a+b 1+d+b 2+b+e 2+b+fo 2+o+x 2+o+n e 1+b+em 2+m+x 2+m+nx 2+x+g 2+x+h 1+m+x 1+o+xa 2+a+c 2+a+b也即gc[0] = a gc[1]=dgp[0] = g gp[1] = h gc[0] = a gc[1]=dgp[0] = e gp[1] = f gc[0] = m g...
阅读全文
摘要：翻译自：http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduces, Combiners, Partitioners,和 sorting。如下图所示。基本MapReduce模式计数与求和问题陈述:有许多文档，每个文档都有一些字段组成。需要计算出每个字段在所有文档中的出现次数或者这些字段的其他什么统计值。例如，
阅读全文
摘要：假设A有好友B C D；B有好友A C D E；C有好友A B D E；D有好友A B C E;E有好友B C D。A -> B C DB -> A C D EC -> A B D ED -> A B C EE -> B C D则对于A来说，A -> B C D(A B) -> B C D(A C) -> B C D(A D) -> B C D对于B来说，B -> A C D E(A B) -> A C D E(B C) -> A C D E(B D) -> A C D E(B E) -> A C D E对于C
阅读全文
摘要：第一步：安装jdk由于hadoop是java开发的，所以需要JDK来运行代码。这里安装的是jdk1.6.jdk的安装见http://www.cnblogs.com/tommyli/archive/2012/01/06/2314706.html第二步：创建独立的用户useradd hadooppasswd hadoop有些机器不能设置空密码的时候passwd -d hadoop这里的用户名为hadoop，如果你要调试的时候要注意名字。比如我用windows调试linux的集群，这个名字应该是windows系统的用户名（否则你没有权限提交作业到hadoop）。第三步：设置用户无密码登陆su - h
阅读全文
摘要：1:杀掉hadoop作业列出作业./hadoop job -list杀掉./hadoop job -kill job_id1：某些节点出现running asprocess XXX. Stop it first这是由于各节点登录用户为root，在启动hadoop前，务必将各节点用户切换至普通用户ha...
阅读全文
摘要：1."Hadoop.Operations.pdf.zip"http://vdisk.weibo.com/s/vDOQs6xMAQH62."Hadoop权威指南(中文版)(带书签).pdf"http://vdisk.weibo.com/s/wxJYuVE573j3."[Hadoop权威指南(第2版)].pdf"http://vdisk.weibo.com/s/vmaSwlKBP5Kt4."hadoop权威指南第3版2012.rar"http://vdisk.weibo.com/s/aN4iIpKT0Kml5.《Had
阅读全文
摘要：1：下载hadoop。http://mirror.esocc.com/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz2：解压. tar -zxvf3：修改hadoop-env.sh中的JAVA_HOME配置4：用hadoop编译wordcountA：代码位置/soft/hadoop/src/examples/org/apache/hadoop/examplesmkdir wordcount_classes javac -classpath /soft/hadoop/hadoop-core-1.2.1.jar:/soft/hadoop/
阅读全文
