二黑诶 - 博客园

2020年2月21日

摘要： #!/bin/bash #hadoop export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH rea 阅读全文

posted @ 2020-02-21 23:02 二黑诶阅读(463) 评论(0) 推荐(0) 编辑

小记--------spark的shuffle原理分析及源码分析

摘要： Spark shuffle操作的两个特点第一个特点在spark早起版本中，那个bucket缓存是很重要的，因为需要将一个ShuffleMapTask所欲偶的数据都写入内存缓存之后，才会刷新到磁盘，但是有一个问题，如果map side数据过多，那么狠容易造成内存溢出，所以spark在新版本中，优化阅读全文

posted @ 2020-02-21 23:01 二黑诶阅读(212) 评论(0) 推荐(0) 编辑

小记--------spark的Master的Application注册机制源码分析及Master的注册机制原理分析

摘要： Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 1 //截取了部分代码 2 //处理Application注册的请求 3 case RegisterApplication(descriptio 阅读全文

posted @ 2020-02-21 23:00 二黑诶阅读(156) 评论(0) 推荐(0) 编辑

小记--------spark ——AGScheduler源码分析

摘要： DAGScheduler类位置：org.apache.spark.scheduler //DAGScheduler调度的核心入口 1 private[scheduler] def handleJobSubmitted(jobId: Int, 2 finalRDD: RDD[_], 3 func: ( 阅读全文

posted @ 2020-02-21 22:54 二黑诶阅读(229) 评论(0) 推荐(0) 编辑

2020年1月24日

小记--------spark-DAGScheduler原理及state划分算法原理

摘要：阅读全文

posted @ 2020-01-24 23:51 二黑诶阅读(265) 评论(0) 推荐(0) 编辑

小记--------spark-job触发流程源码分析

摘要： job是串行执行的，执行完上一个才执行下一个 eg：Wordcount案例 val lines = sc.textFile("本地URL or HDFS URL")//详解见代码1 val words = lines.flatMap(line => line.split(" "))//也会返回一个阅读全文

posted @ 2020-01-24 23:49 二黑诶阅读(248) 评论(0) 推荐(0) 编辑

2019年12月26日

小记--------hbase数据库预分区设计，rowkey设计及参数调优

摘要：表的设计 1.1预分区设计每一个region维护者startrowkey与endrowkey，如果假如的数据符合某个region维护的rowkey范围，则该数据交给这个region维护，所以我们可以将数据所有投放的分区提前大致的规划好，以提高hbase性能可以通过hbase shell 命令进行阅读全文

posted @ 2019-12-26 17:54 二黑诶阅读(383) 评论(0) 推荐(0) 编辑

小记--------hbase数据库java API 常用方法及案例

摘要： HBaseAdmin类：管理hbase数据库的表信息，‘创建表、删除表、列出表选项、使表有效/无效、添加或删除列簇’； Eg： //使用工厂模式创建connection val conn: Connection = ConnectionFactory.createConnection(config) 阅读全文

posted @ 2019-12-26 17:47 二黑诶阅读(337) 评论(0) 推荐(0) 编辑

小记--------hbase数据库读写流程

摘要： hbase读写流程读过程 client先从缓存中定位region位置，如果缓存中没有region位置，则从zookeeper的-ROOT-表，获取-ROOT-所在regionserver位置通过查询-ROOT-的region服务器获取含有.META.表所在regionserver地址 Clien 阅读全文

posted @ 2019-12-26 17:23 二黑诶阅读(174) 评论(0) 推荐(0) 编辑

小记--------hbase数据库各组件应用及作用

摘要： zookeeper：主要用于协调管理分布式应用程序； 1.实现master高可用；如果 active master由于异常宕机，zookeeper会检测到该宕机时间，并通过一定机制选举出新的master 2.管理系统核心元数据：当前系统中正常工作的regionserver集合，保存系统元数据表hba 阅读全文

posted @ 2019-12-26 17:22 二黑诶阅读(969) 评论(0) 推荐(0) 编辑

于二黑

公告