摘要：
1. 获取安装包下载链接 访问https://kafka.apache.org/downloads 找到kafka对应版本 需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala版本） 2. 执行命令下载并安装 cd /usr/local/src/ wget h 阅读全文
摘要：
1. 获取spark下载链接 登录官网：http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/sp 阅读全文
摘要：
1. 安装依赖包和软件 1. 安装依赖包和软件 在所有服务器上输入命令进行安装操作 2. 在master服务器上配置监控端 vi /etc/ganglia/gmetad.conf 修改下面内容 data_source "server" 50 master:8649 master-backup:864 阅读全文
摘要：
1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://archive.apache.org/dist/hbase/2.0.0/hb 阅读全文
摘要：
下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站，找到我们要安装的版本，点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼容，不要安装了不匹配的版 阅读全文
摘要：
1. 下载安装包 登录官网下载安装包 https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 2. 执行命令下载并安装 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/ap 阅读全文
摘要：
Hadoop运行在java环境，所以在安装Hadoop之前，需要安装好jdk 提前下载好jdk安装包（jdk-8u161-linux-x64.tar.gz），将它上传到指定的安装目录当中，然后运行安装 配置服务器环境变量 在尾部添加下面配置 保存退出后，运行命令，让配置马上生效 将java安装包同步 阅读全文
摘要：
Hadoop的NameNode需要启动集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登录来实现 Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录每台机器，需要将所有机器配置为NameNode可以免密登录 由于是双master，所以需要在master与master_ 阅读全文
摘要：
NTP服务概述 NTP服务概述 NTP服务器【Network Time Protocol（NTP）】是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS等等)做同步化，它可以提供高精准度的时间校正（LAN上与标准间差小于1毫秒，WAN上几十毫秒），且可介由加密确认的 阅读全文
摘要：
这段时间在做大数据方面的开发，使用Hadoop、HBase、Spark、Spart Streaming、Kafka、Docker、Kubernetes等等平台与组件，在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发，就必须搭建一套稳定的服务器环境，虽然网上有大量的文章与教程，但在学习 阅读全文