07 2015 档案

kafaka学习
摘要：创建一个topic： [root@hdp1 bin]# ./kafka-topics.sh --create --zookeeper hdp1:2181 --replication-factor 1 --partitions 1 --topic justin Created topic "justin". [root@hdp1 bin]# pwd /usr/hdp/2.2.6.0-2800/k... 阅读全文
posted @ 2015-07-15 10:23 justinzhang 阅读(1689) 评论(0) 推荐(0) 编辑
talend 将hbase中数据导入到mysql中
摘要：首先，解决talend连接hbase的问题： 公司使用的机器是HDP2.2的机器，上面配置好Hbase服务，在集群的/etc/hbase/conf/hbase-site.xml下，有如下配置： zookeeper.znode.parent /hbase-unsecure 这个配置是决定， Hbase master在zookeeper中，存储数据的根节点，如果不... 阅读全文
posted @ 2015-07-14 15:48 justinzhang 阅读(4626) 评论(1) 推荐(0) 编辑
hbase ERROR: wrong number of arguments (3 for 4)
摘要：hbase(main):036:0> get 'ddl', 'example', 'info:age'COLUMN CELL info:age timestamp=1436787562408, value=\x00\x00... 阅读全文
posted @ 2015-07-13 19:58 justinzhang 阅读(4168) 评论(1) 推荐(0) 编辑
hbase操作
摘要：名称命令表达式 创建表create '表名称','列簇名称1','列簇名称2'....... 添加记录put '表名称', '行名称','列簇名称:','值' 查看记录get '表名称','行名称' 查看表中的记录总数count '表名称' 删除记录delete '表名',行名称','列簇名称' 删除表①disable '表名称' ②drop '表名称' 查看所有记 阅读全文
posted @ 2015-07-13 19:55 justinzhang 阅读(850) 评论(0) 推荐(0) 编辑
Talend 将Oracle中数据导入到hive中,根据系统时间设置hive分区字段
摘要：首先,概览下任务图: 流程是,先用tHDFSDelete将hdfs上的文件删除掉，然后将oracle中的机构表中的数据导入到HDFS中；建立hive连接-》hive建表-》tJava获取系统时间-》tHiveLoad将hdfs上的文件导入到hive表中。 下面介绍每一个组件的设置： tHDFSDelete_1: 机构： tHDFSOutput_1: hive: tHiveCreateT... 阅读全文
posted @ 2015-07-01 09:38 justinzhang 阅读(3810) 评论(1) 推荐(0) 编辑