随笔分类 - hadoop
hadoop生态圈记录
摘要:1.概要1.1HBase的使用场景 大数据量 (100s TB级数据) 且有快速随机访问的需求。 例如淘宝的交易历史记录。数据量巨大无容置疑,面向普通用户的请求必然要即时响应。 容量的优雅扩展。 大数据的驱使,动态扩展系统容量的必须的。例如:webPage DB。 业务场景简单,不需要关系...
阅读全文
摘要:1.概述 使用hadoop已经有一段时间了,从最开始懵懂到迷茫,再到各种阅读与写作,再到如今各种组合应用,逐渐已经离不开hadoop了,hadoop在大数据行业的成功,加速了它本身的发展,各大社区都能见到hadoop的身影。现在hadoop的家族成员已经达到20多个了。 因此,对自己所掌握的知识...
阅读全文
摘要:1.环境准备1.1软件版本sqoop-1.4.5 下载地址2.配置sqoop的配置比较简单,下面给出需要配置的文件2.1环境变量sudo vi /etc/profileSQOOP_HOME=/home/hadoop/source/sqoop-1.4.5PATH=$SQOOP_HOME/binexpo...
阅读全文
摘要:1.环境准备1.1软件版本hive-0.14 下载地址2.配置安装hive的前提,必需安装好hadoop环境,可以参考我之前Hadoop社区版搭建,先搭建好hadoop环境;接下来我们开始配置hive2.1环境变量sudo vi /etc/profileHIVE_HOME=/home/hadoop/...
阅读全文
摘要:1.概要 我打算分享一下,我开发Hadoop的一些心得,对于即将步入Hadoop行业的童鞋,希望我整理的这些博文对您有帮助,我打算分为以下几部分来描述。 2.步骤 注:点击链接可直接跳到指定位置 Hadoop社区版集群的搭建 hive的安装部署 sqoop的安装部署 hbase和zookeeper的
阅读全文
摘要:1.环境准备 1.1 硬件配置 1.2 软件版本 Hadoop-2.x 下载地址 JDK1.7 下载地址 至此搭建Hadoop集群的条件准备OK了。 2.创建Hadoop用户 在管理Hadoop集群时,不推荐使用root用户去操作,我们可以通知运维,叫他创建一个hadoop用户去专门用于维护和管理集
阅读全文