随笔分类 - 大数据Hadoop
Hadoop
摘要:下载和解压 Flume 实验环境可能需要回至第四,五,六章(hadoop和hive),否则后面传输数据可能报错(猜测)! 可 以 从 官 网 下 载 Flume 组 件 安 装 包 , 下 载 地 址 如 下 URL 链 接 所 示:https://archive.apache.org/dist/f
阅读全文
摘要:#下载和解压 Sqoop Sqoop相关发行版本可以通过官网 https://mirror-hk.koddos.net/apache/sqoop/ 来获取 安装 Sqoop组件需要与 Hadoop环境适配。使用 root用户在 Master节点上进行部署,将 /opt/software/sqoop-
阅读全文
摘要:#HBase 安装与配置 首要配置 配置时间同步(所有节点上执行) yum -y install chrony vi /etc/chrony.conf #写入(7版本用server;8版本用pool): server time1.aliyun.com iburst 或 pool time1.aliy
阅读全文
摘要:#ZooKeeper 组件安装配置 ##下载和安装 ZooKeeper ZooKeeper最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/ 来获取,安装 ZooKeeper组件需要与 Hadoop环境适配。 注意,各节点的防火墙需要关闭,否则会出现连接问
阅读全文
摘要:下载和解压安装文件 基础环境和安装准备 Hive组件的部署规划和软件包路径如下: (1)当前环境中已安装 Hadoop全分布系统 (2)本地安装 MySQL数据库(账号 root,密码 Password123$),软件包在/opt/software/mysql-5.7.18路径下 (3)MySQL端
阅读全文
摘要:在Hadoop文件参数配置完成之后 在master上操作 su - hadoop cd /usr/local/src/hadoop/ ./bin/hdfs namenode -format hadoop-daemon.sh start namenode hadoop-daemon.sh start
阅读全文
摘要:#准备环境(省略) 上传实验所需的压缩包 配置网络信息 修改主机名 配置域名解析 关闭防火墙与SELinux(在所有节点上执行)代码如下: systemctl disable --now firewalld setenforce 0 vim /etc/selinux/config 修改:SELINU
阅读全文
摘要:配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /etc/hosts 写入: ip hadoop #自己虚拟机ip和主机名 查看SSH 服务状态 SSH
阅读全文
摘要:#hadoop主机设置免密 ##环境设置 需要三台或三台以上的主机 并修改主机名分别为:master,slave1,slave2 hostnamectl set-hostname master hostnamectl set-hostname slave1 hostnamectl set-hostn
阅读全文