随笔分类 -  大数据Hadoop

Hadoop
摘要:下载和解压 Flume 实验环境可能需要回至第四,五,六章(hadoop和hive),否则后面传输数据可能报错(猜测)! 可 以 从 官 网 下 载 Flume 组 件 安 装 包 , 下 载 地 址 如 下 URL 链 接 所 示:https://archive.apache.org/dist/f 阅读全文
posted @ 2022-04-29 18:21 郑琰 阅读(466) 评论(0) 推荐(0) 编辑
摘要:#下载和解压 Sqoop Sqoop相关发行版本可以通过官网 https://mirror-hk.koddos.net/apache/sqoop/ 来获取 安装 Sqoop组件需要与 Hadoop环境适配。使用 root用户在 Master节点上进行部署,将 /opt/software/sqoop- 阅读全文
posted @ 2022-04-23 10:00 郑琰 阅读(695) 评论(0) 推荐(0) 编辑
摘要:#HBase 安装与配置 首要配置 配置时间同步(所有节点上执行) yum -y install chrony vi /etc/chrony.conf #写入(7版本用server;8版本用pool): server time1.aliyun.com iburst 或 pool time1.aliy 阅读全文
posted @ 2022-04-15 11:58 郑琰 阅读(614) 评论(0) 推荐(0) 编辑
摘要:#ZooKeeper 组件安装配置 ##下载和安装 ZooKeeper ZooKeeper最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/ 来获取,安装 ZooKeeper组件需要与 Hadoop环境适配。 注意,各节点的防火墙需要关闭,否则会出现连接问 阅读全文
posted @ 2022-04-10 14:40 郑琰 阅读(226) 评论(0) 推荐(0) 编辑
摘要:下载和解压安装文件 基础环境和安装准备 Hive组件的部署规划和软件包路径如下: (1)当前环境中已安装 Hadoop全分布系统 (2)本地安装 MySQL数据库(账号 root,密码 Password123$),软件包在/opt/software/mysql-5.7.18路径下 (3)MySQL端 阅读全文
posted @ 2022-04-09 21:38 郑琰 阅读(420) 评论(0) 推荐(1) 编辑
摘要:在Hadoop文件参数配置完成之后 在master上操作 su - hadoop cd /usr/local/src/hadoop/ ./bin/hdfs namenode -format hadoop-daemon.sh start namenode hadoop-daemon.sh start 阅读全文
posted @ 2022-04-09 19:43 郑琰 阅读(66) 评论(0) 推荐(0) 编辑
该文被密码保护。
posted @ 2022-04-02 20:46 郑琰 阅读(8) 评论(0) 推荐(0) 编辑
摘要:#准备环境(省略) 上传实验所需的压缩包 配置网络信息 修改主机名 配置域名解析 关闭防火墙与SELinux(在所有节点上执行)代码如下: systemctl disable --now firewalld setenforce 0 vim /etc/selinux/config 修改:SELINU 阅读全文
posted @ 2022-03-25 18:59 郑琰 阅读(692) 评论(0) 推荐(0) 编辑
摘要:配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /etc/hosts 写入: ip hadoop #自己虚拟机ip和主机名 查看SSH 服务状态 SSH 阅读全文
posted @ 2022-03-22 21:57 郑琰 阅读(427) 评论(0) 推荐(0) 编辑
摘要:#hadoop主机设置免密 ##环境设置 需要三台或三台以上的主机 并修改主机名分别为:master,slave1,slave2 hostnamectl set-hostname master hostnamectl set-hostname slave1 hostnamectl set-hostn 阅读全文
posted @ 2022-03-19 18:38 郑琰 阅读(4269) 评论(0) 推荐(1) 编辑

#

# #
点击右上角即可分享
微信分享提示