摘要： # 导入Maven依赖 ```XML org.apache.zookeeper zookeeper 3.4.6 org.apache.hbase hbase-client 2.2.5 org.apache.hadoop hadoop-client 3.2.1 org.apache.hadoop ha 阅读全文

摘要： # 简介 HBase 是一个**面向列式存储的分布式数据库**，其设计思想来源于 Google 的 BigTable 论文。 HBase 底层存储基于 HDFS 实现，集群的管理基于 ZooKeeper 实现。 HBase 良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于数据副本机 阅读全文

摘要： # kafka 都有哪些特点？ 高吞吐量，低延迟 可以热扩展 并发度高 具有容错性(挂的只剩1台也能正常跑) 可靠性高 # 在哪些场景下会选择 kafka？ kafka的一些应用 - 日志收集：一个公司可以用kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consum 阅读全文

摘要： # 日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可： 1. 当前日志分段文件的大小超过了broker端参数 `log.segment.bytes` 配置的值。`log.segment.bytes`参数的默认值为 `1073741824`，即1GB 2. 当前日志分段中消息的最小时间 阅读全文

摘要： # 系统架构 **主题topic和分区partition** - topic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic - partition分区（提升kafka吞吐量） topic中数据的具体 阅读全文

摘要： # 基本概念 ## 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。 总 阅读全文

摘要： # zookeeper ZooKeeper是一个开源的分布式应用程序协调服务 简单来说可以理解为zookeeper = 文件系统+监听通知机制 应用场景: 1. 集群管理、服务器状态感知 2. 分布式应用配置管理 3. 统一命名服务 4. 分布式锁 > 小总结： >1. 为客户提供写数据功能 数据不 阅读全文

摘要： # 缓存 ## 缓存更新方式 这是决定在使用缓存时就该考虑的问题。 - 设置缓存数据的TTL，当缓存数据失效后，如果有系统要请求，则会查询数据库并插入缓存（被动更新） 不友好 - 在各类会往mysql写入数据的系统中，植入更新缓存的逻辑（判断哪些表的数据是热点数据，那么就可以在这些表数据的更新操作逻 阅读全文

摘要： # 其他数据类型 ## List ### LPUSH ```sql LPUSH key value [value ...] -- 将一个或多个值 value 插入到列表 key 的表头 -- 如果有多个 value 值，那么各个 value 值按从左到右的顺序依次插入到表头： 比如说，对空列表 my 阅读全文

摘要： # 模拟手机验证码 需求：使用redis模拟手机验证码发送，验证码有效期60s，验证验证码输入不能超过3次，超过3次今天就没机会了 ```java //验证手机号 /** * 判断字符串是否符合手机号码格式 * 移动号段: 134 135 136 137 138 139 147 148 150 15 阅读全文