12 2019 档案

Harbor本地镜像库安装与使用
摘要：Harbor安装很简单，不过安装以后要怎么操作，百度了好久都没有找到实操的方法，怎么从官方拉取镜像后更新到私有仓库中？这个弄了好久，一样样测试后才找到方法，对于不熟悉私有仓库的小白来说，有点坑。还好花了些时间解决了。 1. Harbor简介 Harbor安装很简单，不过安装以后要怎么操作，百度了好久 阅读全文
posted @ 2019-12-30 19:48 AllEmpty 阅读(2383) 评论(1) 推荐(0) 编辑
大数据高可用集群环境安装与配置（10）——安装Kafka高可用集群
摘要：1. 获取安装包下载链接 访问https://kafka.apache.org/downloads 找到kafka对应版本 需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala版本） 2. 执行命令下载并安装 cd /usr/local/src/ wget h 阅读全文
posted @ 2019-12-28 21:54 AllEmpty 阅读(318) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（09）——安装Spark高可用集群
摘要：1. 获取spark下载链接 登录官网：http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/sp 阅读全文
posted @ 2019-12-28 21:50 AllEmpty 阅读(356) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（08）——安装Ganglia监控集群
摘要：1. 安装依赖包和软件 1. 安装依赖包和软件 在所有服务器上输入命令进行安装操作 2. 在master服务器上配置监控端 vi /etc/ganglia/gmetad.conf 修改下面内容 data_source "server" 50 master:8649 master-backup:864 阅读全文
posted @ 2019-12-28 21:45 AllEmpty 阅读(407) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（07）——安装HBase高可用集群
摘要：1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://archive.apache.org/dist/hbase/2.0.0/hb 阅读全文
posted @ 2019-12-28 21:40 AllEmpty 阅读(473) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（06）——安装Hadoop高可用集群
摘要：下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站，找到我们要安装的版本，点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼容，不要安装了不匹配的版 阅读全文
posted @ 2019-12-28 21:34 AllEmpty 阅读(414) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（05）——安装zookeeper集群
摘要：1. 下载安装包 登录官网下载安装包 https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 2. 执行命令下载并安装 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/ap 阅读全文
posted @ 2019-12-28 21:23 AllEmpty 阅读(308) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（04）——安装JAVA运行环境
摘要：Hadoop运行在java环境，所以在安装Hadoop之前，需要安装好jdk 提前下载好jdk安装包（jdk-8u161-linux-x64.tar.gz），将它上传到指定的安装目录当中，然后运行安装 配置服务器环境变量 在尾部添加下面配置 保存退出后，运行命令，让配置马上生效 将java安装包同步 阅读全文
posted @ 2019-12-28 21:19 AllEmpty 阅读(341) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（03）——设置SSH免密登录
摘要：Hadoop的NameNode需要启动集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登录来实现 Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录每台机器，需要将所有机器配置为NameNode可以免密登录 由于是双master，所以需要在master与master_ 阅读全文
posted @ 2019-12-28 21:17 AllEmpty 阅读(341) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（02）——配置ntp服务
摘要：NTP服务概述 NTP服务概述 NTP服务器【Network Time Protocol（NTP）】是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS等等)做同步化，它可以提供高精准度的时间校正（LAN上与标准间差小于1毫秒，WAN上几十毫秒），且可介由加密确认的 阅读全文
posted @ 2019-12-28 21:15 AllEmpty 阅读(358) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（01）——服务器基础配置
摘要：这段时间在做大数据方面的开发，使用Hadoop、HBase、Spark、Spart Streaming、Kafka、Docker、Kubernetes等等平台与组件，在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发，就必须搭建一套稳定的服务器环境，虽然网上有大量的文章与教程，但在学习 阅读全文
posted @ 2019-12-28 21:09 AllEmpty 阅读(1466) 评论(0) 推荐(0) 编辑