摘要: 一、前言 1、上文中我们已经搭建好了Hadoop和Zookeeper的集群,这一文来将Hadoop集群变得高可用 2、由于Hadoop集群是主从节点的模式,如果集群中的namenode主节点挂掉,那么集群就会瘫痪,所以我们要改造成HA模式(High Avaliable,高可用性)的集群,说白了就是设 阅读全文
posted @ 2018-11-21 15:26 未分配微服务 阅读(562) 评论(0) 推荐(0) 编辑
摘要: 一、前言 1、上一文搭建好了Hadoop单机模式,这一文继续搭建Hadoop集群 二、搭建Hadoop集群 1、根据上文的流程得到两台单机模式的机器,并保证两台单机模式正常启动,记得第二台机器core-site.xml内的fs.defaultFS参数值要改成本机的来启动,启动完毕后再改回来 2、清空 阅读全文
posted @ 2018-11-21 10:30 未分配微服务 阅读(391) 评论(0) 推荐(0) 编辑
摘要: 一、前言 1、从今天开始进行流式大数据计算的实践之路,需要完成一个车辆实时热力图 2、技术选型:HBase作为数据仓库,Storm作为流式计算框架,ECharts作为热力图的展示 3、计划使用两台虚拟机来打一个小型的分布式系统,使用Ubuntu系统 二、HBase简介 1、HBase是基于HDFS( 阅读全文
posted @ 2018-11-20 17:31 未分配微服务 阅读(680) 评论(2) 推荐(1) 编辑
摘要: 一、环境准备 1、安装好Docker环境的Linux机器(安装教程) 2、准备好SpringBoot项目打包好的可运行jar包 二、编写Dockerfile 1、首先将SpringBoot打包好的jar包和自己的配置文件打包成一个tar.gz压缩包,与下面的Dockerfile文件放到同级目录下 2 阅读全文
posted @ 2018-05-26 16:29 未分配微服务 阅读(585) 评论(0) 推荐(0) 编辑
摘要: 一、环境准备 1、Ubuntu64位系统(目前docker仅支持64位系统) 2、官方支持的Ubuntu版本(1)Ubuntu Trusty 14.04(LTS)(2)Ubuntu Precise 12.04(LTS)(3)Ubuntu Raring 13.04(LTS)(4)Ubuntu Sauc 阅读全文
posted @ 2018-05-15 20:24 未分配微服务 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 问题:在配置hadoop集群时,master的50070后台中找不到slave的datanode节点怎么办? 解决: 方法一:首先确认下master和slave的hdfs-site.xml配置中的dfs.namenode.name.dir目录下的current/VERSION文件是否一致,可以直接拷 阅读全文
posted @ 2018-03-29 16:43 未分配微服务 阅读(4946) 评论(0) 推荐(0) 编辑
摘要: 前言 在搭建hadoop集群时,需要主机和副机之间实现SSH免密登录 一、环境准备 1、ubuntu两台 二、安装SSH 1、首先检测一下本机有没有安装SSH服务,如果没有任何打印说明未安装 2、使用如下命令安装SSH服务 三、配置SSH 1、建议先删除一下ssh的目录,重新配置 2、使用如下命令来 阅读全文
posted @ 2018-03-29 15:40 未分配微服务 阅读(2430) 评论(0) 推荐(0) 编辑
摘要: 前言 在使用虚拟机搭建集群时,需要实现虚拟机与虚拟机之间互相ping通,并且主机与虚拟机也可以互相ping通。 一、环境准备: 1、主机为win7 2、virtualbox下创建两台ubuntu虚拟机 二、virtualbox配置 1、选中虚拟机,打开设置-->网络 2、连接方式选择“桥接网卡” 3 阅读全文
posted @ 2018-03-29 12:20 未分配微服务 阅读(822) 评论(0) 推荐(0) 编辑