摘要：
点击compile即可开始下载！ 阅读全文
摘要：
1.基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOLEAN boolea 阅读全文
摘要：
Hive与Sql语言很像， use 数据库； 以建一个student表为例： 编写student.txt文件（中间以tab键隔开 即 \t ） 2 Tiny3 Fun4 Mark5 Yong OK 阅读全文
摘要：
一、首先进入：/usr/local/bin 文件夹下，编写start-cluster.sh脚本 vim start-cluster.sh (需要root权限) 下面的各个节点的信息根据自身情况进行修改 保存，退出。修改执行权限 chmod 777 start-cluster.sh （或者u+x）运行 阅读全文
摘要：
1．需求 某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。 2．需求分析 3．具体实现 （0）先在集群上创建/servers节点： （1）服务器端向Zookeeper注册代码： （2）客户端代码 要记得在运行时候main中args[ ]要事先配置哦 阅读全文
摘要：
引言： 无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。（对外是一个整文件，对内仍是原先的小文件，节省MapTask） 需求如下： 将多个小文件合并成一个SequenceF 阅读全文
摘要：
首先打开dfs与yarn。 主要就是三步走： 一、编写WordcountMapper 二、编写WordcountReducer 三、编写WordcountDriver 多数都是固定写法，会用即可！ 顺便一提：如果在集群上运行： 1.maven install 打包之前的java程序为jar文件并改名 阅读全文
摘要：
一、群起集群start-dfs.sh 时，主节点一切正常，其他节点没有datanode等进程 以hadoop101（主节点）， hadoop102 ，hadoop103为例 第一：ssh免密登陆设置失败，重新设置一遍。 注意要在hadoop101中不仅设置当前用户对其他节点的免密登陆，还要设置roo 阅读全文
摘要：
在该文件中编写如下代码 保存文件之后，使其具有执行权限：chmod 777 xsync 最后执行该脚本：xsync /home/xxx/bin 如果显示无该路径，那么要配好环境变量里的path要包含上述的目的路径。 欢迎留言交流！我的大数据菜鸟交流群（本群刚起步，有你更精彩）：875910806 阅读全文
摘要：
将两台机子打开 1：先ping x.x.x.x(另一台主机名称)，一般能ping通 2：ping hadoopxxx(另一台主机别名) 此时应该ping不通 3：vim /etc/hosts 4:service network restart 再ping别名就能ping通了 解决！ 欢迎留言交流！我 阅读全文