摘要:
hadoop2.2.0 ha集群搭建使用的文件如下: jdk-6u45-linux-x64.bin hadoop-2.2.0.x86_64.tar zookeeper-3.4.5.tar.gz hbase-0.96.2-hadoop2-bin.tar 使用WinSCP工具将上述文件复制到linux的... 阅读全文
摘要:
由于在Hadoop-2.x中,Apache官网上提供的都是32位版本,如果是生产环境中则需要自行编译64位,编译Hadoop-2.x版本方法如下:安装编译源码所依赖的底层库 yum install glibc-headers yum install gcc yum install gcc-c+... 阅读全文
摘要:
如果在使用Sqoop将Hive中的数据导出到mysql的时候报如下错误:[yao.meng@h1 ~]$ sqoop export --connect "jdbc:mysql://192.168.14.71:3306/rtcrawler?useUnicode=true&characterEncodi... 阅读全文
摘要:
##以上完成后在h3机器上配置sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz查看sqoop提供的命令[root@h4sqoop-1.4.4]# bin/sqoop helpPlease set $HCAT_HOME to the root of your HCa... 阅读全文
摘要:
集群如下:HostName IP Soft Processh1 192.168.1.31 Hadoop,Hbase NameNode(Active),DFSZKFailoverController,HMaster(Active)h2 192.1... 阅读全文
摘要:
Sqoop是什么? sqoop是一个用来将hadoop和rdbms(mysql、oracle、postgres)的数据进行相互迁移的工具;他可以将rdbms的数据导入到hadoop的hdfs中,也可以将hdfs的数据导出到rdbms中。Sqoop原理? Sqoop中一大亮点就是可以通过hadoo... 阅读全文
摘要:
package com.rtmap.udfs; import org.apache.commons.lang3.StringUtils; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; import java.text.ParseException... 阅读全文
摘要:
需求: 原始数据为 F8 楼梯 MULTIPOLYGON(((27.7363472618163 -76.4068597634723,27.7363472618163 -80.0131241459239,19.72894019261 -80.0118552827063,19.502938400954 阅读全文
摘要:
1、添加依赖jar 4.0.0 com.mengyao.dataformat hortonworks 0.0.1-SNAPSHOT jar hortonworks http://maven.apache.org ... 阅读全文
摘要:
hive hive是基于hadoop的一个数据仓库工具,可将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可将sql转换为MapReduce任务运行。hive不适合用于联机事务处理,也不提供实时查询,他适合应用在基于大量不可变的批处理作业。 hive架构分为四个部分: 用户接口: 阅读全文