yudoge

摘要： 这篇文章只是简单的对日志结构文件系统LFS做一个简要了解，很多细节没有 传统文件系统的问题 在内存越来越大的今天，无论是操作系统还是应用软件越来越趋向于在内存中建立更多的磁盘缓存，这带来了更多的写入。 在传统文件系统中，写入操作要更新很多个块，各种位图、inode、数据块、父inode等，即使是将它 阅读全文

摘要： 问题：数据不一致 假设现在我们有一个普通的文件系统，它由简单的inode块、数据块和它们各自的位图组成。 现在有一个inode——I，I[v1]代表它目前是第一个版本，它的一个指针指向了数据块Da。 版本只是为了举例子，并不是文件系统记录了inode的版本信息 现在，你需要打开这个文件，跳到它的末尾 阅读全文

摘要： 本篇笔记记录了OSTPE中介绍的一种简单的文件系统VSFS的实现。 文件系统，就是一种关于如何在磁盘这种块设备中建立文件、文件夹概念的一套规范 块大小定义 为了方便，文件系统需要以一种单元来操作磁盘，这个单元就是块。VSFS选择常见的块大小——4KB，并且只使用这一种大小。比如，下面是一个具有256 阅读全文

摘要： 最多一次：消息最多被消费一次，可能丢失 最少一次：消息最少被消费一次，可能被重复消费多次 精确一次：消息会且只会被消费一次 Producer默认语义 默认情况下，Kafka会在producer的消息写入到分区leader副本的磁盘日志文件中后发送响应，若producer没接收到响应，它会尝试重新发送 阅读全文

摘要： Controller？ 就是平时说的集群leader，和分区leader不是一个概念，这是在集群中的所有broker中选出一个唯一的leader，它用来控制整个集群的各种事宜，所以叫Controller。 怎么控制 整个Kafka集群实际上是建立在Zookeeper上的，所以集群的控制实际上也就是各 阅读全文

摘要： 本地LEO和Remote LEO Kafka分区的follower副本的LEO属性保存了两份： 本地LEO：在follower副本所在broker的缓存中保存一份 Remote LEO：在leader副本所在的broker的缓存中保存一份（Remote LEO） 本地LEO很简单，就是followe 阅读全文

摘要： poll IO模型与内部线程 Consumer消费多个来自多个Topic的多个分区的数据，在新版本中，它使用类似select、epoll这种IO模型来达到用一个线程管理多个来源的数据的功能。 不过，Consumer内部还是分为两个线程： Heartbeat线程：定时向broker发送heartbea 阅读全文

摘要： 嘶哈~最近看了一部电视剧，《三悦有了新工作》。 讲的大概就是，一直对生活没啥兴趣的赵三悦找了个殡仪馆的工作，随着她不断地接触到一个个从世间消散的生命，触碰到生者与往生者在面临死别时的复杂情感，她慢慢的体会到了生命的真实意义。真希望你也能看到这部电视剧啊...... 今天早上B站又给我推，看到下面评论 阅读全文

摘要： Producer Producer做的工作 确认消息发送到的partition，相同key映射到相同分区，无key轮询 寻找分区的leader所在的Kafka broker，Producer可以选择不同的策略来发送消息 直接发送成功 leader响应写入操作后成功 ... Producer异常 Pr 阅读全文

摘要： Producer新旧对比 新版本： 发送过程被分为两个线程，一条消息发送后经用户主线程进入内存缓冲区，Sender I/O线程将缓冲区中的数据分批发给Kafka broker 完全异步发送消息，通过Future或Callback来通知发送者 分批机制，提升整体吞吐量 轮询方式对无key消息分区，更加 阅读全文