随笔分类 - hadoop
摘要：Flume组件安装配置 1、下载和解压 Flume # 传Flume安装包 [root@master ~]# cd /opt/software/ [root@master software]# ls apache-flume-1.6.0-bin.tar.gz hadoop-2.7.1.tar.gz
阅读全文
摘要：Sqoop组件安装与配置 Sqoop是Apache旗下一款 “Hadoop和关系数据库服务器之间传送数据” 的工具。主要用于在Hadoop(Hive)与传统的数据库(MySQL、Oracl、 Postgres等)之间进行数据的传递， 可以将一个关系型数据库中的数据 导进到Hadoop的HDFS中，也
阅读全文
摘要：需要在Hadoop-全分布式配置的基础上进行配置 一、配置时间同步 （在所有节点上） # 以master为例 # 安装chrony [root@master ~]# yum -y install chrony # 编辑配置文件 [root@master ~]# vi /etc/chrony.conf
阅读全文
摘要：HBase实验步骤： 需要在【Hadoop】4、全分布式配置、【Hadoop】5、集群运行、【Hadoop】8、ZooKeeper组件的基础上进行配置 1、配置时间同步（所有节点） [root@master ~]# yum -y install chrony [root@master ~]# vi
阅读全文
摘要：一、基础环境 Hive 组件需要基于之前已部署完毕的 Hadoop 全分布系统，在 master 节点上实现 Hive 组件安装。 1、Hadoop-全分布式配置（全部配置） 2、Hadoop-集群运行（部分配置） # 查看之前部署的环境 [root@master ~]# su - hadoop [
阅读全文
摘要：**前提：**需要在上节Hadoop全分布式基础配置的基础上完成 步骤一、NameNode 格式化 第一次启动 HDFS 时要进行格式化，否则会缺失 DataNode 进程。另外，只要运行过 HDFS，Hadoop 的工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据
阅读全文
摘要：一、配置基础环境 需要用到三台主机，一台做master节点，两台做slave节点。三个节点分别配置网络、主机名、及主机名与IP的映射关系 1、配置网络信息 master节点的IP为192.168.100.10 slave1节点的IP为192.168.100.20 slave2节点的IP为192.16
阅读全文
摘要：一：配置基础环境 需要用到三台主机，一台做master，两台做slave，实现三台主机能够相互免密登录 一、修改主机名 修改 master 机器主机名 [root@localhost ~]# hostnamectl set-hostname master-wzg [root@localhost ~]
阅读全文
摘要：#一：配置环境 ##1、配置基础环境 配置网络 [root@wangzhigang ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet BOOTPROTO=static DEFROUTE=yes PEERDNS=yes P
阅读全文
摘要：#Hadoop生态圈组件介绍 广义上来说，Hadoop是指大数据的一个生态圈，包括很多软件框架。 Apache Hadoop项目为可靠，可扩展的分布式计算开发开源软件。 Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到
阅读全文
