随笔分类 - ChatGPT
分布式系统理论 中CAP理论和BASE理论
摘要：CAP 理论 CAP（Consistency, Availability, Partition Tolerance）理论是由计算机科学家 Eric Brewer 提出的，主要用于描述分布式系统在一致性、可用性和分区容忍性之间的权衡关系。 CAP 三要素 一致性（Consistency） 所有节点在同
linux提供的零拷贝技术
摘要：Linux 提供了多种 零拷贝（Zero-Copy） 技术，主要用于 减少 CPU 开销、提高数据传输效率，适用于 高性能网络传输、文件 I/O 等场景。以下是 Linux 常见的 零拷贝技术： 1. sendfile() 🔹 适用于：文件传输（文件 → 套接字） 🔹 原理： 直接将文件从 内核
kafka为什么这么高效
摘要：Kafka 之所以高效，主要是因为它采用了一系列 高吞吐、低延迟、可靠性高 的优化技术，涵盖了 存储结构、消息传输、数据复制、批量处理 等多个方面。以下是 Kafka 高效的关键因素： 1. 顺序写入（Sequential Write） Kafka 主要采用顺序写入磁盘，而非随机写入，大幅提高了磁盘
Java 内存模型（JMM - Java Memory Model）
摘要：Java 内存模型（JMM - Java Memory Model） 1. 什么是 Java 内存模型（JMM）？ Java 内存模型（JMM，Java Memory Model）是 Java 虚拟机（JVM）对多线程访问内存的抽象定义，主要用于屏蔽不同 CPU 和操作系统的内存访问差异，保证 Ja
kafka同步机制
摘要：Kafka 的同步机制（Replication & Synchronization） Kafka 通过副本同步机制（Replication & Synchronization）来保证数据的高可用性和可靠性。Kafka 的同步机制主要涉及以下几个核心概念： 1. 副本（Replication） Kaf
kafka 如何保证消息不丢失
摘要：Kafka 如何保证消息不丢失 Kafka 主要从 生产者（Producer）、Broker（服务器）、消费者（Consumer） 三个方面保证消息不丢失。下面是完整的代码示例，包括关键的 Kafka 配置。 组件 关键配置 作用 生产者 acks=all 确保消息写入所有 ISR 副本 retri
spark提交文件支持路径类型
摘要：spark-submit 提交文件支持的路径类型 类似以下参数 --files --jars --archives --conf spark.yarn.jars --conf spark.yarn.archive --conf spark.yarn.dist.archives --conf spar
spark提交参数 [spark.yarn.dist.jars] 和 [spark.yarn.jars ]区别
摘要：spark.yarn.dist.jars 作用 用于指定分发到集群节点上的 JAR 包的路径。 工作原理 Spark 应用程序的执行器会将这些 JAR 包分发到它们的本地文件系统上。这样，应用程序可以在执行期间访问这些 JAR 包。 使用场景 适用于应用程序的依赖项，这些依赖项不需要在整个集群中共享
