摘要：
搭建集群： SPARK_WORKER-CORES : 当计算机是32核双线程的时候，需要指定SPARK_WORKER_CORES的个数为64个 SPARK_WORKER_MEMORY : 任务提交： ./spark-submit --master node:port --executor-cores 阅读全文
摘要：
1. 尽量在合适的场合使用单例 使用单例可以减轻加载的负担，缩短加载的时间，提高加载的效率，但并不是所有地方都适用于单例，简单来说，单例主要适用于以下三个方面： 第一，控制资源的使用，通过线程同步来控制资源的并发访问； 第二，控制实例的产生，以达到节约资源的目的； 第三，控制数据共享，在不建立直接关 阅读全文
摘要：
flink wordcount 代码及相关知识点总结： pom 文件： Flink运行时包含两种类型的进程： Flink程序可以运行在standalone集群，Yarn或者Mesos资源调度框架中。 clients不是Flink程序运行时的一部分，作用是向JobManager准备和发送dataflo 阅读全文
摘要：
flink程序开发流程： 1、 set up the batch execution environment 2、get date 3、develop business logic 4、executor program 用flink实现githab上面的example ： 用批处理实现wordcou 阅读全文
摘要：
1.kudu的产生背景和应用场景 2.kudu的基础架构 3.kudu的底层存储原理 5.kudu和hbase的对比 6.kudu性能调优和报错方案解决 7.kudu性能测试报告 创建 hash分区 + range分区 两者同时使用 的表、删除表 修改表：增加字段、删除字段 插入 表数据 3种刷新提 阅读全文
摘要：
Apache Kudu的基本思想、架构和与Impala实践 Apache Kudu是一个为了Hadoop系统环境而打造的列存储管理器，与一般的Hadoop生态环境中的其他应用一样，具有能在通用硬件上运行、水平扩展性佳和支持高可用性操作等功能。 在Kudu出现之前，Hadoop生态环境中的储存主要依赖 阅读全文
摘要：
1.什么是Druid？Druid是一个高效的数据查询系统，主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实时摄入，进入到Druid后立即可查，同时数据是几乎是不可变。通常是基于时序的事实事件，事实发生后进入Druid，外部系统就可以对该事实进行查询。Druid采用的架构: shared- 阅读全文
摘要：
OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银 阅读全文
摘要：
storm --流式处理框架 storm是个实时的、分布式以及具备高容错的计算系统 - storm 进程常驻内存 - storm 数据不经过磁盘，在内存中处理 Twitter开源的分布式实时大数据处理框架，最早开源于github storm 架构 -Nimbus -Supervisor -Worke 阅读全文
摘要：
一、程序计数器：程序计数器是一块较小的内存空间，它可以看做是当前线程所执行的字节码的行号指示器。 程序计数器处于线程独占区 如果线程执行的是java方法，这个计数器记录的是正在执行的虚拟机字节码指令的地址。如果正在执行的是native方法，这个计数器的值为undefined 此区域是唯一一个在jav 阅读全文