hyunbar

2020年3月25日

摘要：当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还阅读全文

posted @ 2020-03-25 17:36 hyunbar 阅读(476) 评论(0) 推荐(0) 编辑

Flink 检查点（checkpoint）

摘要： Flink具体如何保证exactly-once呢? 它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。假设你和两位朋友正在数项链上有多少颗珠子，如下图所示。你捏住珠子，边数边拨，每拨过一颗珠子就给总数加一。你的朋友也这阅读全文

posted @ 2020-03-25 17:35 hyunbar 阅读(3348) 评论(0) 推荐(0) 编辑

Flink 时间语义与watermark

摘要： 1、Flink中的时间语义在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time: 是时间创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳 Ingestion Time：数据进入F 阅读全文

posted @ 2020-03-25 17:34 hyunbar 阅读(585) 评论(0) 推荐(0) 编辑

2020年3月22日

Flume的可靠性保证：故障转移、负载均衡

摘要： Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。下面是官方配置：从参数类型上可以看出有3种Processors类型：default, fai 阅读全文

posted @ 2020-03-22 10:59 hyunbar 阅读(1062) 评论(0) 推荐(0) 编辑

2020年3月19日

Hive 文件存储格式

摘要： 1、5种存储格式 Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。 Cloudera Impala也支持这些文件格式。在建表时使用STORED AS (TextFile 阅读全文

posted @ 2020-03-19 21:48 hyunbar 阅读(3240) 评论(0) 推荐(0) 编辑

Kafka 核心组件之协调器

摘要： 1、消费者与消费者组假设某 topic 有4个分区，消费者组中只有一个消费者，那么这个消费者将消费全部 partition 中的数据。如果消费者组中有两个消费者，那么每个消费者消费两个 partition。如果消费者组中有4个消费者，那么每个消费者消费一个partition。如果消费者组中有阅读全文

posted @ 2020-03-19 20:40 hyunbar 阅读(619) 评论(0) 推荐(0) 编辑

Canal工作原理

摘要： 1、MySQL主从复制原理 2、Canal 的工作原理 canal模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议 mysql master收到dump请求，开始推送binary log为slave canal解析binary log 阅读全文

posted @ 2020-03-19 20:10 hyunbar 阅读(847) 评论(0) 推荐(0) 编辑

ElasticSearch

摘要： 1.1 ElasticSearch重要概 cluster：整个ES默认就是集群状态，整个集群是一份完整、互备的数据 node：集群中一个节点，一个进程是一个node shard：分片，即使是一个节点中的数据也会通过hash算法，分成多个片段，默认是5片（7.0默认1片） index：相当于datab 阅读全文

posted @ 2020-03-19 19:51 hyunbar 阅读(200) 评论(0) 推荐(0) 编辑

Kylin

摘要： 1、Kylin简介 1.1 kylin简介 Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。 Apache Kylin 阅读全文

posted @ 2020-03-19 19:28 hyunbar 阅读(412) 评论(0) 推荐(0) 编辑

Presto

摘要： 1、概念 presto是一个开源的分布式SQL查询引擎数量支持GB到PB字节主要用来处理秒级查询的场景注意：虽然presto可以解析SQL，但它不是一个标准的数据库不是mysql，oracle的代替品，也不能用来处理在线事务（OLTP） 2、Presto架构 presto由一个coordin 阅读全文

posted @ 2020-03-19 14:54 hyunbar 阅读(741) 评论(0) 推荐(0) 编辑

公告