2019年12月10日
Flume组件
摘要： 1、什么是Flume：apache顶级项目，主要用来做数据采集。分布式、高可用，将海量日志进行采集、聚合、传输的系统。能够对数据进行简单处理在发送到接收方。 2、Flume组件：source、channel、sink，一个Flume可以有一个source，多个channel、多个sink （1）so 阅读全文
posted @ 2019-12-10 21:05 guoyu1 阅读(833) 评论(0) 推荐(0) 编辑
Hive节点及原理
摘要： 目录： 一、hive简介 二、Hive语句的执行流程 三、hive和传统数据库的区别 一、Hive简介 1、什么是Hive：hive是一种基于hadoop的数据仓库，能够将结构化的数据映射成一张表，并提供HQL进行查询。其数据是存储在hdfs上，本质是将sql命令转化成MapReduce来执行。 2 阅读全文
posted @ 2019-12-10 17:22 guoyu1 阅读(1367) 评论(0) 推荐(0) 编辑
Yarn资源调度器
摘要： 一、yarn中的角色： ResourceManager：集群计算资源的分配，启动ApplicationMaster，监控NodeManager的状态。 NodeManager：启动和管理节点中的容器。 ApplicationMaster：运行mapreduce任务，每个job有一个，分配map在哪里 阅读全文
posted @ 2019-12-10 17:12 guoyu1 阅读(735) 评论(0) 推荐(0) 编辑
2019年12月7日
Hive数据倾斜
摘要： 一、数据倾斜表现： https://blog.51cto.com/u_14932245/2759844 在MapReduce编程模型中十分常见，大量相同的key被分配到一个reduce里，造成一个reduce任务累死，其他reduce任务闲死。查看任务进度，发现长时间停留在99%或100%，查看任务 阅读全文
posted @ 2019-12-07 16:56 guoyu1 阅读(606) 评论(0) 推荐(0) 编辑
单例
摘要： 单例设计模式，就是保证对象的实例只有一个，防止每个用这个对象的人都创建一个实例。 1、定义： 什么是单例模式呢，单例模式(Singleton)又叫单态模式，它出现目的是为了保证一个类在系统中只有一个实例，并提供一个访问它的全局访问点。从这点可以看出，单例模式的出现是为了可以保证系统中一个类只有一个实 阅读全文
posted @ 2019-12-07 09:15 guoyu1 阅读(103) 评论(0) 推荐(0) 编辑
2019年12月6日
工厂设计模式
摘要： 为什么使用工厂模式：工厂是对对象的构造、实例化、初始化过程的一种封装。从而提供给其他需要这些对象的地方去使用，从而降低耦合度，提高扩展性和重用性。如果我们手动的在代码中用new关键字去创建对象，那么就会导致对象的诞生过程会绑定在我们的代码中。宿主类与实例化过程强耦合，后期维护会变得非常麻烦。 以造车 阅读全文
posted @ 2019-12-06 22:02 guoyu1 阅读(120) 评论(0) 推荐(0) 编辑
JVM对象创建
摘要： 1、JVM对象创建：java程序运行过程中，无时无刻都有对象被创建出来。在语言层面上就是new关键字。 2、JVM对象创建过程： （1）JVM遇到一条new指令后，首先会去常量池中，检查这个指令的参数是否有一个类的符号引用，并检查这个符号引用代表的类是否被加载、解析、初始化过。如果没有就执行类加载过 阅读全文
posted @ 2019-12-06 15:48 guoyu1 阅读(300) 评论(0) 推荐(0) 编辑
Kafka、ActiveMQ、RabbitMQ、RocketMQ区别
摘要： 1、区别： Kafka和RocketMQ的区别： 1、两者对于消息的单机吞吐量、时效性、可用性、消息可靠性都差不多，其中时效性就是消息延迟都在ms级，kafka吞吐量会更大。 2、功能支持方面：Kafka主要应用于大数据场景，因此其功能较为简单，主要支持简单的MQ功能。RocketMQ支持较为完善的 阅读全文
posted @ 2019-12-06 11:25 guoyu1 阅读(410) 评论(0) 推荐(0) 编辑
kafka数据组织+集群架构
摘要： 1、数据组织： partition：Kafka的topic可以划分成一个或多个partition，每个partition存储着这个topic的一部分数据。 partition副本：若一个topic的副本数为3，那么每个partition就会存储有3个相同的副本。其中每个broker存储一个或多个pa 阅读全文
posted @ 2019-12-06 10:25 guoyu1 阅读(1544) 评论(0) 推荐(0) 编辑
2019年12月5日
zookeeper应用场景
摘要： 1、基本思想：zookeeper的应用场景均可从其节点类型和watcher机制进行考虑。 2、应用场景： a、统一命名服务：主要使用顺序节点进行。 b、集群管理：临时节点+wather机制 c、分布式日志收集： d、master选举： e、分布式锁：使用临时节点+监听机制 f、分布式屏障：使用临时节 阅读全文
posted @ 2019-12-05 21:58 guoyu1 阅读(367) 评论(0) 推荐(0) 编辑