摘要: 写在最前,后面测试会用到HDFS2,所以本次环境搭建是在Hadoop2.6.1,三节点的基础上完成的。 (关于搭建Hadoop环境,可参考:https://www.cnblogs.com/SysoCjs/p/10835793.html) 说明: 集群环境: Master 192.168.112.10 阅读全文
posted @ 2019-07-18 12:18 KamShing 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 写在最前,本次环境搭建是在Hadoop2.6.1,三节点的基础上完成的。 (关于搭建Hadoop环境,可参考:https://www.cnblogs.com/SysoCjs/p/10835793.html) 说明: #master,表示在master节点上操作; #master,#slave1,#s 阅读全文
posted @ 2019-07-18 10:44 KamShing 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 一、HDFS1.x架构图 对于HDFS1.x来讲,它的架构图由三个组件组成:NameNode、SecondaryNameNode和DataBode。 稍微了解过hadoop1.x的同学,就会知道hadoop1.x集群里面的资源管理和作业调度及监控都是有NameNode负责,一个集群,只有一台机器(M 阅读全文
posted @ 2019-07-18 10:24 KamShing 阅读(359) 评论(0) 推荐(0) 编辑
摘要: Hadoop2.x较Hadoop1.x来说,变化非常大,主要主要体现在Hadoop2.x引入了“Yarn”这个核心部件。 hadoop1.x有两大部件,HDFS和MadpReduce,其中HDFS(Hadoop Distributed Files System)用于分布式存储文件,便于集群中各机器从 阅读全文
posted @ 2019-05-13 09:55 KamShing 阅读(504) 评论(0) 推荐(0) 编辑
摘要: 说明: ( 1、安装JDK1.8+hadoop2.6+SSH:https://www.cnblogs.com/SysoCjs/p/10835793.html 2、安装hive1.2.2+mysql5.7:https://www.cnblogs.com/SysoCjs/p/10835954.html 阅读全文
posted @ 2019-05-13 09:45 KamShing 阅读(430) 评论(0) 推荐(0) 编辑
摘要: (关于搭建Hadoop环境,可参考:https://www.cnblogs.com/SysoCjs/p/10835793.html) 说明: #master,表示在master节点上操作; #master,#slave1,#slave2,表示在三个节点上都要操作; 一、安装Hive1.2.2 1、源 阅读全文
posted @ 2019-05-08 23:43 KamShing 阅读(1000) 评论(0) 推荐(0) 编辑
摘要: 本篇介绍如何使用虚拟机搭建Hadoop集群,此例搭建1个master和2个slave,如要更多的slave,方法如此类推。 现在已经有安装了一台虚拟机, 1、查看虚拟机的虚拟网络,设置为NAT模式: 编辑——>虚拟网络编辑器 进入到虚拟网络编辑器界面后,单击VMnet8, 这里可以查看网关IP,默认 阅读全文
posted @ 2019-05-08 23:19 KamShing 阅读(1091) 评论(0) 推荐(0) 编辑
摘要: 相信不少朋友在开发的时候都会碰到过这种问题:大量使用if...else进行逻辑判断。不管是接手过来的系统,还是自己开发的系统,当你看到一大堆的if...else语句之后,心里总会冒出一句“这简直就是一堆shit”。最近博主热衷于重构代码,看到自己手上的系统的一些判断逻辑,恨不得将它全部删掉,再加上最 阅读全文
posted @ 2019-03-15 08:55 KamShing 阅读(708) 评论(0) 推荐(0) 编辑
摘要: 一、基础架构 构建Eureka服务治理有三个核心角色:服务注册中心、服务提供者和服务消费者。上图就是这三个角色之间的通信工作架构图。 服务注册中心(Eureka Server):Eureka提供的服务端,提供服务注册和发现的功能; 服务提供者:提供服务的应用,遵循Eureka通信机制的应用。它将自己 阅读全文
posted @ 2019-02-19 09:35 KamShing 阅读(390) 评论(0) 推荐(0) 编辑
摘要: 一、什么是Proxy模式 Proxy,代理的意思,它指的是代替别人进行工作的人。当不一定需要本人亲自进行工作时,就可以寻找代理人去完成工作。在面向对象编程时,“本人”和“代理人”都是对象,要记住的一样东西,就是代理人可以替代本人去做某些事情,意味着代理人和本人就具有一定程度相同的属性和方法。 二、P 阅读全文
posted @ 2019-02-19 08:51 KamShing 阅读(228) 评论(0) 推荐(0) 编辑