Jomini

摘要： Spark核心原理 spark 运行架构 Application (应用程序) : 用户编写的Spark应用程序，包含 DriverProgram （驱动程序）和 在分布由集群 中节点上运行的Executor代码，在执 行过程由一个或者多个作业组成； Driver (驱动程序)：为应用程序Appli 阅读全文

摘要： Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler Hadoop2.7.2默认的资源调度器是Capacity Scheduler。 1、FIFO 调度器 先进先出， 作业按照先进的顺序排队，先到的先处理 2、容量调度器 Capcity Sc 阅读全文

摘要： YARN工作机制 作业提交全过程详解 （1）作业提交 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第2步：Client向RM申请一个作业id。 第3步：RM给Client返回该job资源的提交路径和作业id。 第4步：Client提 阅读全文

摘要： 一、MapReduce 原理 这个链接总结较好 ： https://www.jianshu.com/p/ca165beb305b MapReduce 过程分为Map 和 Reduce 在Map阶段，将输入的数据按照规则映射为单个对象，之后通过Shuffle，作为Reduce的输入数据。 在Reduc 阅读全文

摘要： 一、序列化意义和场景 意义：使对象信息可以通过网络传输在不同的服务中获取。 场景：给一个接口发送对象，就需要在把该对象的类进行序列化，之后发送给接收 的接口，再反序列化才能获取到完整的对象信息。 简单说就是为了保存在内存中的各种对象的状态（也就是实例变量，不是方法），并且可以把保存的对象状态再读出来 阅读全文

摘要： 一、Hbase表的设计 1.1、 Hbase 表设计原理（ps:这里不知道可不可以这样说）： https://blog.csdn.net/yydu_666/article/details/80620980 1.2、列簇设计 官方建议不超过2到3个列簇，columnFamily flush临近的col 阅读全文

摘要： 一、Hbase 架构 由 Client、 Zookeeper、 HMaster、 HRegionServer、 HDFS 组成； 二、架构各部分功能 Client ：包括访问接口； Zookeeper : 1) 监控 HRegionServer 集群， 当HMaster 失效，通过选举机制选出 HM 阅读全文

摘要： 运行spark 出现 问题 Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAll 阅读全文

摘要： 查看消费 bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list 运行 console-consumer-49401 ct console-consumer-41580 console-consumer-68364 console 阅读全文

摘要： mvn install 只打出jar包要打war包 <packaging>war</packaging> 阅读全文