09 2019 档案

基于Docker搭建大数据集群（一）Docker环境部署
摘要：本篇文章是基于Docker搭建大数据集群系列的开篇之作 主要内容 1. docker搭建 2. docker部署CentOS 3. 容器免密钥通信 4. 容器保存成镜像 5. docker镜像发布 环境 Linux 7.6 一、Docker安装 安装工具包 设置远程仓库 安装 启动 查看版本 校验 阅读全文
posted @ 2019-09-30 11:50 程序员朱永胜 阅读(6615) 评论(1) 推荐(0) 编辑
基于Docker搭建大数据集群（三）Hadoop部署
摘要：主要内容 Hadoop安装 前提 zookeeper正常使用 JAVA_HOME环境变量 安装包 "微云下载 | tar包目录下" Hadoop 2.7.7 角色划分 角色分配|NN|DN|SNN | | | cluster master|是|否|否 cluster slave1|否|是|是 clu 阅读全文
posted @ 2019-09-30 11:49 程序员朱永胜 阅读(1199) 评论(0) 推荐(0) 编辑
基于Docker搭建大数据集群（二）基础组件配置
摘要：主要内容 1. jdk环境搭建 2. scala环境搭建 3. zookeeper部署 4. mysql部署 前提 docker容器之间能免密钥登录 yum源更换为阿里源 安装包 "微云分享 | tar包目录下" JDK 1.8.221 Scala 2.12.9 Zookeeper 3.5.5 My 阅读全文
posted @ 2019-09-30 11:49 程序员朱永胜 阅读(705) 评论(0) 推荐(0) 编辑
基于Docker搭建大数据集群（四）Spark部署
摘要：主要内容 spark部署 前提 zookeeper正常使用 JAVA_HOME环境变量 HADOOP_HOME环境变量 安装包 "微云下载 | tar包目录下" Spark2.4.4 一、环境准备 上传到docker镜像 解压 二、配置文件 spark env.sh slaves spark def 阅读全文
posted @ 2019-09-30 11:48 程序员朱永胜 阅读(969) 评论(0) 推荐(0) 编辑
基于Docker搭建大数据集群（五）Mlsql部署
摘要：主要内容 mlsql部署 前提 zookeeper正常使用 spark正常使用 hadoop正常使用 安装包 "微云下载 | tar包目录下" mlsql cluster 2.4_2.11 1.4.0.tar.gz mlsql console 1.4.0.tar.gz mlsql engine_2. 阅读全文
posted @ 2019-09-30 11:47 程序员朱永胜 阅读(521) 评论(0) 推荐(1) 编辑
基于Docker搭建大数据集群（七）Hbase部署
摘要：基于Docker搭建大数据集群（七）Hbase搭建 一、安装包准备 "Hbase官网下载" ) "微云下载 | 在 tar 目录下" 二、版本兼容 三、角色分配 节点|Master|Regionserver | | cluster master|yes|no cluster slave1|backu 阅读全文
posted @ 2019-09-30 11:46 程序员朱永胜 阅读(1786) 评论(0) 推荐(0) 编辑
基于小米球（Ngrok）实现内网穿透
摘要：一、前言 在公司部署了一套大数据集群。为了方便测试。所以需要弄个内网穿透实现在家里访问公司内部网络，但是不想付费。所以整了个免费的内网穿透工具。 二、准备 1. 注册一个 "小毛球账号" ，获取免费的Token 2. 在后台首页下载对应版本客户端 3. 将下载的压缩文件解压后将以下两个文件上传到服务 阅读全文
posted @ 2019-09-30 11:44 程序员朱永胜 阅读(10) 评论(0) 推荐(0) 编辑
基于Docker搭建大数据集群（六）Hive搭建
摘要：基于Docker搭建大数据集群（六）Hive搭建 前言 之前搭建的都是1.x版本，这次搭建的是 hive3.1.2 版本的。。还是有一点细节不一样的 Hive现在解析引擎可以选择spark，我是用 spark 做解析引擎的，存储还是用的HDFS 我是在 docker 里面搭建的集群，所以都是基于do 阅读全文
posted @ 2019-09-27 11:44 程序员朱永胜 阅读(1476) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示