摘要：
sqoop只要安装到集群中的一台节点就可以了1.上传sqoop到节点中2.安装和配置在添加sqoop到环境变量到/etc/profile中将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mys... 阅读全文
摘要：
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译集群... 阅读全文
摘要：
使用hadoop版本为2.2.0倒排索引简单的可以理解为全文检索某个词例如：在a.txt 和b.txt两篇文章分别中查找统计hello这个单词出现的次数，出现次数越多，和关键词的吻合度就越高现有a.txt内容如下：hello tomhello jerryhello kittyhello worldh... 阅读全文
摘要：
修改主机名和IP的映射关系vi /etc/hosts 192.168.61.134 hadoop关闭防火墙#查看防火墙状态service iptables status#关闭防火墙service iptables stop#查看防火墙开机启动状态chkconfig iptables --list#关... 阅读全文
摘要：
HBase的安装是是建立在hadoop和zookeeper集群之上的安装的步骤跟伪分布式差不多，只是修改了一些配置文件解压缩、重命名、设置环境变量把hbase-0.94.2-security.tar.gz复制到/home/hadoop解压hbase-0.94.2-security.tar.gz与重命... 阅读全文
摘要：
一、HBase(NoSQL)的数据模型1.1 表(table)，是存储管理数据的。1.2 行键(row key)，类似于MySQL中的主键，行键是HBase表天然自带的，创建表时不需要指定1.3 列族(column family)，列的集合。一张表中有多个行健，一个行健读取出来的是一条记录，列族和M... 阅读全文
摘要：
zk服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。在master节点的/home/hadoop目录下，解压缩zk....tar.gz，具体安装的路径自选解压后重命名该文件夹为zk设置环境变量vi /etc/profile新增export ZOOKEEPER_HOME=/home/... 阅读全文
摘要：
在master节点上的hadoop安装目录下进入conf目录配置hdfs-site.xml文件添加节点如下：dfs.hosts.excludehome/hadoop/hadoop-0.20.2/conf/excludes节点的值为excludes文件的路径该文件的内容为要下架的节点的ip地址或者主机... 阅读全文
摘要：
现有数据如下：3 33 23 12 22 11 1要求为：先按第一列从小到大排序，如果第一列相同，按第二列从小到大排序如果是hadoop默认的排序方式，只能比较key，也就是第一列，而value是无法参与排序的这时候就需要用到自定义的排序规则解决思路：自定义数据类型，将原本的key和value都包装... 阅读全文
摘要：
当遇到有特殊的业务需求时，需要对hadoop的作业进行分区处理那么我们可以通过自定义的分区类来实现还是通过单词计数的例子，JMapper和JReducer的代码不变，只是在JSubmit中改变了设置默认分区的代码，见代码： //1.3分区 //设置自定义分区类 job.setPartition... 阅读全文