滚动的蛋

摘要： YARN（Yet Another Resource Negotiator）是Hadoop的一个关键组件，主要用于大数据处理中的资源管理和作业调度。它是在Hadoop 2.0中引入的，用以改进Hadoop的原始资源管理和作业调度能力，支持Hadoop集群的更高效和更灵活的利用。以下是YARN在大数据环 阅读全文

摘要： MapReduce 是一种编程模型，用于大规模数据集（多达数十亿个数据项）的并行处理。它由Google开发，用于简化大量数据的处理，特别是分布式系统中的数据。MapReduce 模型的核心思想是将大型计算分解成多个小块，这些小块可以并行执行。它主要包括两个步骤：Map 和 Reduce。 MapRe 阅读全文

摘要： Cron 表达式解析 Cron 表达式是一种强大的工具，用于在特定时间自动执行计划任务。无论是在服务器维护、数据库备份，还是在发送定时邮件等场景，cron 表达式都能提供精确的时间控制。 Cron 表达式的基本结构 Cron 表达式由6或7个由空格分隔的时间字段组成，每个字段代表了不同的时间单位： 阅读全文

摘要： DataX一个数据同步框架 DataX 是阿里云 DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableSt 阅读全文

摘要： 变更数据捕获（Change Data Capture, CDC）是一种技术，用于实时捕获数据库中的变更（如插入、更新和删除操作），并将这些变更同步到其他数据库或数据仓库中，从而保持数据环境的一致性和实时性。CDC技术对于实现实时数据分析、数据集成、数据复制和备份等场景至关重要。本文将介绍当前市场上一 阅读全文

摘要： Lambda架构和Kappa架构是处理大数据流的两种流行架构模式，它们旨在处理大规模的数据流，并能够提供实时数据处理的能力。这两种架构各有特点，适用于不同的业务场景。 Lambda架构 Lambda架构由Nathan Marz提出，旨在解决大数据系统中的复杂性问题，特别是需要处理大量实时数据的系统。 阅读全文

摘要： TCC事务模式深入解析与应用 在微服务架构和分布式系统中，数据一致性的维护是一个挑战。为了解决这个问题，TCC（Try-Confirm-Cancel）事务模式提供了一种有效的解决方案。本文将深入探讨TCC的概念、工作原理、应用场景，以及如何在Spring Cloud中实现TCC模式，并讨论其优缺点及 阅读全文

摘要： 在微服务架构中，系统通常被拆分成多个独立的服务，每个服务管理着自己的数据和逻辑。这种拆分带来了灵活性和可扩展性，但同时也引入了分布式事务管理的挑战。传统的事务管理方法，如数据库的ACID（原子性、一致性、隔离性、持久性）事务，不再适用于跨多个微服务的操作。这时，Saga模式应运而生，提供了一种解决分 阅读全文

摘要： >>哈希表的应用 哈希表是一种非常通用且灵活的数据结构，因此在计算机科学和软件工程中有许多应用。以下是哈希表的一些主要应用： 1. 字典和集合：哈希表常用于实现字典和集合等数据结构。在这些数据结构中，键-值对被存储在哈希表中，可以快速地进行查找、插入和删除操作。 2. 数据库索引：数据库中的索引通常 阅读全文

摘要： > 事物隔离级别 MySQL中的事务隔离级别一共有4种: 1. 读未提交(Read Uncommitted) 最低隔离级别,事务可以读取到别的事务尚未提交的修改。可能会导致脏读、不可重复读和幻读。 2. 读已提交(Read Committed) 解决脏读,保证读取到的数据均已提交。可能导致不可重复读 阅读全文