摘要: 1、准备: eclipse4.5,hadoop2.6.1,hadoop-eclipse-plugin-2.6.0.jar。 2、eclipse配置 Location name :xxxx 名字随便取 Map/Reduce(V2)Master 下 Host:n1 hadoop主节点(master)机器 阅读全文
posted @ 2017-04-28 14:07 莫为 阅读(118) 评论(0) 推荐(0) 编辑
摘要: //验证sqoop是否连接到mysql数据库sqoop list-tables --connect 'jdbc:mysql://n1/guizhou_test?useUnicode=true&characterEncoding=utf-8' --username root --password ro 阅读全文
posted @ 2017-04-27 15:03 莫为 阅读(1322) 评论(0) 推荐(0) 编辑
摘要: 安装1、下载sqoop1.9.7。地址: http://www.apache.org/dyn/closer.lua/sqoop/1.99.72、解压sqoop ,并配置环境变量 ~/.bash_profile export SQOOP_HOME=/home/sqoop-1.99.7-bin-hado 阅读全文
posted @ 2017-04-25 09:35 莫为 阅读(2531) 评论(1) 推荐(0) 编辑
摘要: 1、导入odbj6.jar到$SQOOP_HOME/lib目录下。 2、sqoop import --append --connect jdbc:oracle:thin:@219.216.110.120:1521:orcl --username TEST1 --password test1 --ta 阅读全文
posted @ 2017-04-19 16:11 莫为 阅读(959) 评论(0) 推荐(0) 编辑
摘要: 1、下载sqoop1.4.6 2、配置环境变量。 3、复制sqoop/conf/sqoop-env-template.sh为sqoop-env.sh 添加相关的配置 #Setpath to where bin/Hadoop is available exportHADOOP_COMMON_HOME= 阅读全文
posted @ 2017-04-19 16:08 莫为 阅读(226) 评论(0) 推荐(0) 编辑
摘要: 转处:http://blog.csdn.net/rkjava/article/details/48789683 阅读全文
posted @ 2017-04-14 18:39 莫为 阅读(1001) 评论(0) 推荐(0) 编辑
摘要: 详细配置参考http://abloz.com/hbase/book.html#distributed ,2.2.2.2小节 1、修改hbase-site.xml文件.添加如下配置 cluster为hadoop集群的名字 <property> <name>hbase.rootdir</name> <v 阅读全文
posted @ 2017-04-14 18:01 莫为 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 1、hive配置遇到的问题( Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D) 解决方案如下: 1.查看hive-site.xml配置,会看到配置值含有"system:java.io. 阅读全文
posted @ 2017-04-11 18:47 莫为 阅读(211) 评论(0) 推荐(0) 编辑
摘要: //创建数据库create datebase hive;//创建表create table t_emp(id int,name string,age int,dept_name string,like array<string>,tedian map<string,string>)row forma 阅读全文
posted @ 2017-04-11 18:46 莫为 阅读(687) 评论(0) 推荐(0) 编辑
摘要: 1、解压hvie.tar,进入conf目录下,cp hive-default.xml.template hive-site.xml; 2、将hive下的新版本jline的JAR包拷贝到hadoop下:cp /hive/apache-hive-1.1.0-bin/lib/jline-2.12.jar 阅读全文
posted @ 2017-04-11 18:46 莫为 阅读(401) 评论(0) 推荐(0) 编辑