kettle将数据加载到hadoop集群
1..将数据加载到HDFS
a)启动Hadoop，创建Job，把文件放进Hadoop
b)在桌面上打开PDI(kettle)：选择“文件（file）”-“新建（new）”-“job”
c)添加启动项工作：你需要告诉PDI从哪开始的Job，所以点开设计面板的“常规”部    分，将一个“start”作业项放到右边面板

 

 

c)添加hadoop copy files Job输入：从本地磁盘复制到Hdfs，点开“Big Data”，将“hadoop              copy files”的Job放到右边工作区

 

 

d)连接“start和hadoop copy files”

 

 

e)编辑“hadoop copy files”，双击“hadoop copy files”，输入以下信息:

 

 

1.Wildcard (RegExp):输入 ^.*\.txt
2.单击“ADD”将需要的files列表添加进去
 

 

 

f)保存工作：选择“File”->“save as。。。”从系统菜单，转型为  “load_hdfs.kjb”保存到选择的文件夹。
G)运行job：从菜单系统选择“Action”->“Run”或者绿色运行按 钮。一个“Execute a job”窗口，执行完之后，可以使用“Execution    Results”查看错误信息

 

 

H)问题：
Problem:Permission denied:user=xxxx, access=Excute,     inode=”/user/pdi/weblogs/raw”:raw:hadoop:drwxr-x---
权限被拒绝：无论在连接什么使用用户名时，要更改用户必须设    置环境变量HADOOP_USER_NAME.可以通过更改opt变量  spoon.bat或者spoon.sh:
OPT=”$OPT....-DHADOOP_USER_NAME=HadoopNameToSpoof”
2.简单的chrome拓展浏览HDFS volumes
3.将数据加载到Hive
a)         建立：启动Hadoop，启动Hive server
b)         创建一个Hive表：
1.打开Hive shelll写一个“hive”在command line
2.在hive中创建表：在hive shell中输入

 

 

3.输入“quit”关闭hive shell
c)      创建一个job来加载Hive
1.同上
2.同上
3.同上
4.同上
d)      编辑“hadoop copy files”，双击“hadoop copy files”，输入以下信 息:
1.Wildcard(RegExp)通配符:输入’part-.*’
2.点击“add”

 

 

3.保存job，选择“Flie”->“save as...”

 

 

 
4.将数据加载到Hbase
A)启动hadoop，启动hbase
1.打开Hbase shell
2.创建表在Hbase中
3.关闭hbase shell
B)创建一个Transformation来加载数据到Hbase
1.“File”->“New”-“Transformation”
 
2.打开“Input”->“Text file input”

 

 

3.点击“Add”
 

 

 

格式选择“Unix”