Jomini

摘要： 1、concat() 1.1、concat(str1, str2, ...) user表 id name 01 test 运行：select concat(id, ',', name) as info from user 结果 info 01,test 1.2、concat_ws(separator 阅读全文

摘要： scala语法 函数 (x: Int) => x + 1 方法1 def add(x: Int, y: Int): Int = x + y 运行 println(add(1, 2))#3 方法2 def addThenMultiply(x: Int, y: Int)(multiplier: Int) 阅读全文

摘要： Spark核心原理 spark 运行架构 Application (应用程序) : 用户编写的Spark应用程序，包含 DriverProgram （驱动程序）和 在分布由集群 中节点上运行的Executor代码，在执 行过程由一个或者多个作业组成； Driver (驱动程序)：为应用程序Appli 阅读全文

摘要： Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler Hadoop2.7.2默认的资源调度器是Capacity Scheduler。 1、FIFO 调度器 先进先出， 作业按照先进的顺序排队，先到的先处理 2、容量调度器 Capcity Sc 阅读全文

摘要： YARN工作机制 作业提交全过程详解 （1）作业提交 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第2步：Client向RM申请一个作业id。 第3步：RM给Client返回该job资源的提交路径和作业id。 第4步：Client提 阅读全文

摘要： 一、MapReduce 原理 这个链接总结较好 ： https://www.jianshu.com/p/ca165beb305b MapReduce 过程分为Map 和 Reduce 在Map阶段，将输入的数据按照规则映射为单个对象，之后通过Shuffle，作为Reduce的输入数据。 在Reduc 阅读全文

摘要： 一、序列化意义和场景 意义：使对象信息可以通过网络传输在不同的服务中获取。 场景：给一个接口发送对象，就需要在把该对象的类进行序列化，之后发送给接收 的接口，再反序列化才能获取到完整的对象信息。 简单说就是为了保存在内存中的各种对象的状态（也就是实例变量，不是方法），并且可以把保存的对象状态再读出来 阅读全文

摘要： 一、Hbase表的设计 1.1、 Hbase 表设计原理（ps:这里不知道可不可以这样说）： https://blog.csdn.net/yydu_666/article/details/80620980 1.2、列簇设计 官方建议不超过2到3个列簇，columnFamily flush临近的col 阅读全文

摘要： 一、Hbase 架构 由 Client、 Zookeeper、 HMaster、 HRegionServer、 HDFS 组成； 二、架构各部分功能 Client ：包括访问接口； Zookeeper : 1) 监控 HRegionServer 集群， 当HMaster 失效，通过选举机制选出 HM 阅读全文

摘要： 运行spark 出现 问题 Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAll 阅读全文