摘要： 安装环境：Hadoop 1.2.0, Java 1.7.0_211.下载/解压在hbase官网上选择自己要下的hbase版本，我选择的是hbase-0.94.8.下载后解压到/usr/local/hadoop，因为我的hadoop装在这个目录下：leefon@ubuntu:~/Download$ sudo tar xzf hbase-0.94.8.tar.gz -C /usr/local/hadoopleefon@ubuntu:~/Download$ cd /usr/local/hadoop将解压好的文件夹更名为hbase（当然也可以不更改），并将文件所有者改为hadoop:leefon@ub 阅读全文

摘要： 我的Hadoop版本是1.2.0，mysql版本是5.6.12.先介绍一下嵌入式derby模式：1.下载/解压 在hive官网上选择要下载的版本，我选择的版本是hive-0.10.0.下载好解压到：/usr/local/hadoop,因为我的hadoop安装在了这个文件下leefon@ubuntu:~/Download$ sudo tar xzf hive-0.10.0.tar.gz -C /usr/local/hadoopleefon@ubuntu:~/Download$ cd /usr/local/hadoop之后便可以在/usr/local/hadoop目录下看到hive-0.10.0文 阅读全文

摘要： 1.原表没有设置主键，出现错误提示：ERROR tool.ImportTool: Error during import: No primary key could be found for table xxx. Please specify one with --split-by or perform a sequential import with '-m 1'提示说明的很清楚：在表xxx没有发现主键，使用--split-by指定一个column作为拆分字段或者在命令行上添加 ‘-m 1'，为什么会出现这样的错误提示，我们需要了解一下Sqoop的并行导入机制：一般来 阅读全文

摘要： 1.Streaming简介Streaming工具允许用户使用非java的语言来编写map和reduce函数。Hadoop的Streaming使用Unix标准作为Hadoop和应用程序之间的接口，所以我们可以使用任何编程语言通过标准输入/输出来写MapReduce程序。详细的用法可以参考这篇博文： http://dongxicheng.org/mapreduce/hadoop-streaming-programming/。 接下举一个Python脚本编写的WordCount的例子：2.脚本程序Mapper:Reducer：注意脚本程序需要有足够的权限，使用命令：chmod a+x Mapper. 阅读全文