摘要：Hive与Sql语言很像， use 数据库； 以建一个student表为例： 编写student.txt文件（中间以tab键隔开 即 \t ） 2 Tiny3 Fun4 Mark5 Yong OK 阅读全文

摘要：一、首先进入：/usr/local/bin 文件夹下，编写start-cluster.sh脚本 vim start-cluster.sh (需要root权限) 下面的各个节点的信息根据自身情况进行修改 保存，退出。修改执行权限 chmod 777 start-cluster.sh （或者u+x）运行 阅读全文

摘要：1．需求 某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。 2．需求分析 3．具体实现 （0）先在集群上创建/servers节点： （1）服务器端向Zookeeper注册代码： （2）客户端代码 要记得在运行时候main中args[ ]要事先配置哦 阅读全文

摘要：引言： 无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。（对外是一个整文件，对内仍是原先的小文件，节省MapTask） 需求如下： 将多个小文件合并成一个SequenceF 阅读全文

摘要：首先打开dfs与yarn。 主要就是三步走： 一、编写WordcountMapper 二、编写WordcountReducer 三、编写WordcountDriver 多数都是固定写法，会用即可！ 顺便一提：如果在集群上运行： 1.maven install 打包之前的java程序为jar文件并改名 阅读全文