会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Jomini
博客园
首页
新随笔
联系
管理
订阅
上一页
1
···
25
26
27
28
29
30
31
32
33
···
49
下一页
2020年3月19日
scala语法
摘要: scala语法 函数 (x: Int) => x + 1 方法1 def add(x: Int, y: Int): Int = x + y 运行 println(add(1, 2))#3 方法2 def addThenMultiply(x: Int, y: Int)(multiplier: Int)
阅读全文
posted @ 2020-03-19 16:38 李荣先辈Java
阅读(84)
评论(0)
推荐(0)
编辑
2020年3月15日
Spark核心原理
摘要: Spark核心原理 spark 运行架构 Application (应用程序) : 用户编写的Spark应用程序,包含 DriverProgram (驱动程序)和 在分布由集群 中节点上运行的Executor代码,在执 行过程由一个或者多个作业组成; Driver (驱动程序):为应用程序Appli
阅读全文
posted @ 2020-03-15 13:49 李荣先辈Java
阅读(596)
评论(0)
推荐(0)
编辑
2020年3月14日
资源调度器
摘要: Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler Hadoop2.7.2默认的资源调度器是Capacity Scheduler。 1、FIFO 调度器 先进先出, 作业按照先进的顺序排队,先到的先处理 2、容量调度器 Capcity Sc
阅读全文
posted @ 2020-03-14 14:46 李荣先辈Java
阅读(139)
评论(0)
推荐(0)
编辑
YARN工作机制
摘要: YARN工作机制 作业提交全过程详解 (1)作业提交 第1步:Client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。 第2步:Client向RM申请一个作业id。 第3步:RM给Client返回该job资源的提交路径和作业id。 第4步:Client提
阅读全文
posted @ 2020-03-14 14:32 李荣先辈Java
阅读(189)
评论(0)
推荐(0)
编辑
2020年3月11日
MapReduce原理和工作过程
摘要: 一、MapReduce 原理 这个链接总结较好 : https://www.jianshu.com/p/ca165beb305b MapReduce 过程分为Map 和 Reduce 在Map阶段,将输入的数据按照规则映射为单个对象,之后通过Shuffle,作为Reduce的输入数据。 在Reduc
阅读全文
posted @ 2020-03-11 22:54 李荣先辈Java
阅读(958)
评论(0)
推荐(0)
编辑
序列化
摘要: 一、序列化意义和场景 意义:使对象信息可以通过网络传输在不同的服务中获取。 场景:给一个接口发送对象,就需要在把该对象的类进行序列化,之后发送给接收 的接口,再反序列化才能获取到完整的对象信息。 简单说就是为了保存在内存中的各种对象的状态(也就是实例变量,不是方法),并且可以把保存的对象状态再读出来
阅读全文
posted @ 2020-03-11 10:56 李荣先辈Java
阅读(460)
评论(0)
推荐(0)
编辑
2020年3月7日
Hbase(2)表的设计和Rowkey等的设计
摘要: 一、Hbase表的设计 1.1、 Hbase 表设计原理(ps:这里不知道可不可以这样说): https://blog.csdn.net/yydu_666/article/details/80620980 1.2、列簇设计 官方建议不超过2到3个列簇,columnFamily flush临近的col
阅读全文
posted @ 2020-03-07 21:22 李荣先辈Java
阅读(282)
评论(0)
推荐(0)
编辑
Hbase(1)架构和工作原理
摘要: 一、Hbase 架构 由 Client、 Zookeeper、 HMaster、 HRegionServer、 HDFS 组成; 二、架构各部分功能 Client :包括访问接口; Zookeeper : 1) 监控 HRegionServer 集群, 当HMaster 失效,通过选举机制选出 HM
阅读全文
posted @ 2020-03-07 13:16 李荣先辈Java
阅读(204)
评论(0)
推荐(0)
编辑
2020年2月29日
Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
摘要: 运行spark 出现 问题 Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAll
阅读全文
posted @ 2020-02-29 17:49 李荣先辈Java
阅读(2491)
评论(0)
推荐(0)
编辑
查看kafka groupId
摘要: 查看消费 bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list 运行 console-consumer-49401 ct console-consumer-41580 console-consumer-68364 console
阅读全文
posted @ 2020-02-29 15:16 李荣先辈Java
阅读(8882)
评论(1)
推荐(0)
编辑
上一页
1
···
25
26
27
28
29
30
31
32
33
···
49
下一页
公告