Eleanor123

2021年7月13日

摘要：数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea 阅读全文

posted @ 2021-07-13 00:03 Eleanor123 阅读(285) 评论(0) 推荐(1) 编辑

2021年7月11日

为什么选择kafka？

摘要：常见消息中间件对比特性 ActiveMQ RabbitMQ Kafka RocketMQ 所属公司 Apache Mozilla public license Apache Apache/ali 成熟度成熟成熟成熟比较成熟生产-消费者模式支持支持支持支持发布-订阅支持支持阅读全文

posted @ 2021-07-11 16:41 Eleanor123 阅读(78) 评论(0) 推荐(1) 编辑

哪些公司在用kafka？

摘要： Google Tencent cloud Facebook Pineapple Fund Microsoft Aws Comcast Cloudera Verizon media Leaseweb ARM Bloomberg HUAWEI red hat,Inc. IBM Inspur JetBra 阅读全文

posted @ 2021-07-11 16:38 Eleanor123 阅读(141) 评论(0) 推荐(1) 编辑

Kafka的应用场景?

摘要：通常Apache kafka应用在两类程序：（1）建立实时的数据管道，以可靠地在系统或应用程序之间获取数据（2）构建实时流应用程序，以转换或响应数据流如图，可以看到：（1）producers：可以有很多的应用程序，将消息数据放到kafka的集群中。（2）Consumers：可以有很多的应用阅读全文

posted @ 2021-07-11 16:24 Eleanor123 阅读(461) 评论(0) 推荐(1) 编辑

Kafka是什么

摘要： Kafka是由Apache软件基金会开发的一个开源流平台，由Scala和Java编写。Kafka的Apache官网是这样介绍Kafka的： Apache Kafka是一个分布式流平台，一个分布式的流平台应该包括的能力：发布和订阅流数据流，类似消息队列或企业消息传递系统以容错的持久化方式存储数据流阅读全文

posted @ 2021-07-11 16:13 Eleanor123 阅读(76) 评论(0) 推荐(1) 编辑

什么是页级锁

摘要：页级锁是MySQL锁定粒度介于行级锁和表级锁中间的一种锁。表级锁速度快，但冲突多；行级锁冲突少，但速度慢。所以页级锁是折中的，一次锁定相邻的一组记录。BDB支持页级锁。阅读全文

posted @ 2021-07-11 13:21 Eleanor123 阅读(377) 评论(0) 推荐(1) 编辑

什么是时间戳

摘要：时间戳就是数据库表中单独加一列时间戳，时间戳就是不加锁，通过时间戳来控制并发出现的问题。比如“timestamp”每次读出来的时候，把该字段也读出来，当写回去的时候，把该字段加1，提交之前，跟数据库的该字段比较一次，如果比数据库的值大的话，就允许保存，否则不允许保存，这种处理方法虽然不使用数据库系阅读全文

posted @ 2021-07-11 13:20 Eleanor123 阅读(841) 评论(0) 推荐(1) 编辑

乐观锁与悲观锁

摘要：（1）什么是乐观锁乐观锁认为一个用户读数据的时候，别人不会去写自己所读的数据。（2）什么是悲观锁悲观锁和乐观锁相反，觉得自己读数据库的时候，别人可能刚好在写自己刚读的数据。在对数据时候，为了不让别人修改自己读取的数据，就会先对自己读取的数据加锁，只有自己把数据读完了，才允许别人修改那部分数据。阅读全文

posted @ 2021-07-11 13:19 Eleanor123 阅读(49) 评论(0) 推荐(1) 编辑

非聚簇索引一定会回表查询吗？

摘要：不一定，这涉及到查询语句所要求的字段是否全部命中了索引，如果全部命中了索引，那么不需要进行回表查询。例如，在学生表的年龄上建立了索引 CREATE INDEX sc_age ON sc(age) 查看sc的表结构 desc sc 当进行explain select age from sc wher 阅读全文

posted @ 2021-07-11 12:19 Eleanor123 阅读(1494) 评论(0) 推荐(3) 编辑

hash索引和B+树索引的底层实现原理

摘要： Hash索引底层就是hash表，进行查找时，调用一次hash函数就可以获取到相应的键值，之后进行回表查询获得实际数据。B+树底层实现是多路平衡查找树，对于每一次的查询都是从根节点出发，查找到叶子节点方可获得所查键值，然后根据查询判断是否需要回表查询数据。 Hash索引和B+树索引区别如下：一般情况阅读全文

posted @ 2021-07-11 11:51 Eleanor123 阅读(494) 评论(0) 推荐(1) 编辑

公告