摘要:
# 导入Maven依赖 ```XML org.apache.zookeeper zookeeper 3.4.6 org.apache.hbase hbase-client 2.2.5 org.apache.hadoop hadoop-client 3.2.1 org.apache.hadoop ha 阅读全文
摘要:
# 简介 HBase 是一个**面向列式存储的分布式数据库**,其设计思想来源于 Google 的 BigTable 论文。 HBase 底层存储基于 HDFS 实现,集群的管理基于 ZooKeeper 实现。 HBase 良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能,基于数据副本机 阅读全文
摘要:
# kafka 都有哪些特点? 高吞吐量,低延迟 可以热扩展 并发度高 具有容错性(挂的只剩1台也能正常跑) 可靠性高 # 在哪些场景下会选择 kafka? kafka的一些应用 - 日志收集:一个公司可以用kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consum 阅读全文
摘要:
# 日志分段切分条件 日志分段文件切分包含以下4个条件,满足其一即可: 1. 当前日志分段文件的大小超过了broker端参数 `log.segment.bytes` 配置的值。`log.segment.bytes`参数的默认值为 `1073741824`,即1GB 2. 当前日志分段中消息的最小时间 阅读全文
摘要:
# 系统架构 **主题topic和分区partition** - topic Kafka中存储数据的逻辑分类;你可以理解为数据库中“表”的概念;比如,将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic - partition分区(提升kafka吞吐量) topic中数据的具体 阅读全文
摘要:
# 基本概念 ## 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统,现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性,许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。 总 阅读全文
摘要:
# zookeeper ZooKeeper是一个开源的分布式应用程序协调服务 简单来说可以理解为zookeeper = 文件系统+监听通知机制 应用场景: 1. 集群管理、服务器状态感知 2. 分布式应用配置管理 3. 统一命名服务 4. 分布式锁 > 小总结: >1. 为客户提供写数据功能 数据不 阅读全文
摘要:
# 缓存 ## 缓存更新方式 这是决定在使用缓存时就该考虑的问题。 - 设置缓存数据的TTL,当缓存数据失效后,如果有系统要请求,则会查询数据库并插入缓存(被动更新) 不友好 - 在各类会往mysql写入数据的系统中,植入更新缓存的逻辑(判断哪些表的数据是热点数据,那么就可以在这些表数据的更新操作逻 阅读全文
摘要:
# 其他数据类型 ## List ### LPUSH ```sql LPUSH key value [value ...] -- 将一个或多个值 value 插入到列表 key 的表头 -- 如果有多个 value 值,那么各个 value 值按从左到右的顺序依次插入到表头: 比如说,对空列表 my 阅读全文
摘要:
# 模拟手机验证码 需求:使用redis模拟手机验证码发送,验证码有效期60s,验证验证码输入不能超过3次,超过3次今天就没机会了 ```java //验证手机号 /** * 判断字符串是否符合手机号码格式 * 移动号段: 134 135 136 137 138 139 147 148 150 15 阅读全文