guoyu1 - 博客园

2023年12月10日

摘要：结构化、半结构化和非结构化数据是根据数据的组织和表示形式来分类的，这种分类主要用于描述数据的组织结构和处理方式。结构化数据（Structured Data）：定义：结构化数据是一种具有明确定义和固定格式的数据，通常存储在关系型数据库中，表现为行和列的结构。特征：数据的组织和关系在预定义的模阅读全文

posted @ 2023-12-10 18:49 guoyu1 阅读(41) 评论(0) 推荐(0) 编辑

rabbitMQ保证消息可靠行

摘要： https://cloud.tencent.com/developer/article/2260035 如何确保RabbitMQ消息的可靠性？开启生产者确认机制，确保生产者的消息能到达队列开启持久化功能，确保消息未消费前在队列中不会丢失开启消费者确认机制为auto，由spring确认消息处理成阅读全文

posted @ 2023-12-10 18:23 guoyu1 阅读(5) 评论(0) 推荐(0) 编辑

kafka和rabbitMQ的区别？

摘要： https://aws.amazon.com/cn/compare/the-difference-between-rabbitmq-and-kafka/ Kafka 和 RabbitMQ 是可用于流处理的消息队列系统。数据流是需要高速处理的大容量、连续增量数据。例如，您必须持续收集和处理有关环境的传阅读全文

posted @ 2023-12-10 18:06 guoyu1 阅读(66) 评论(0) 推荐(0) 编辑

2023年12月9日

kafka消费端速度慢解决方案

摘要：一、增加patition数量，有多少个patition就会启多少个消费者线程去消费，跟消费者服务节点的数量无关，只能patition有关。二、patition一样的情况下，改为批量消费，一次拉取多条数据，max.poll.records，利用多线程去处理数据，避免单线程处理批量数据时间过长，导致阅读全文

posted @ 2023-12-09 17:40 guoyu1 阅读(945) 评论(0) 推荐(0) 编辑

kafka如何保证消息不丢失

摘要： https://zhuanlan.zhihu.com/p/459610418 Kafka 到底会不会丢数据呢？如果丢数据，究竟该怎么解决呢？只有掌握了这些，我们才能处理好 Kafka 生产级的一些故障，从而更稳定地服务业务。认真读完这篇文章，我相信你会对Kafka 如何解决丢数据问题，有更加深阅读全文

posted @ 2023-12-09 16:43 guoyu1 阅读(43) 评论(0) 推荐(0) 编辑

2023年12月8日

kotlin协程和java线程有啥区别

摘要： Kotlin 协程相对于 Java 线程有一些优势，尤其在处理异步和并发任务时，提供了更加简洁、可读性更高的代码。以下是一些 Kotlin 协程相比于 Java 线程的优势：轻量级：协程是轻量级的，可以更高效地创建和销毁，不需要像线程那样消耗大量的系统资源。更好的可读性：使用协程可以避免回调阅读全文

posted @ 2023-12-08 13:03 guoyu1 阅读(147) 评论(0) 推荐(0) 编辑

2023年12月6日

协程

摘要： https://juejin.cn/post/7088711680665845768 补充问题： 1、协程启动方式？一般来说，协程的启动使用比较多的有如下的三个方法： runBlocking: T launch: Job async/await: Deferred 通过查看这三个方法，我们可以得知阅读全文

posted @ 2023-12-06 19:11 guoyu1 阅读(7) 评论(0) 推荐(0) 编辑

Kotlin协程

摘要： https://juejin.cn/post/7088711680665845768 阅读全文

posted @ 2023-12-06 18:29 guoyu1 阅读(4) 评论(0) 推荐(0) 编辑

Zookeeper——分布式一致性协议及Leader选举原理

摘要：一、引言随着业务的增长，单体架构发展为分布式架构，大大提升了业务的处理能力，但同时也带来了很多单体架构不存在的问题，如：各节点之间网络通信的异常以及因其引起的脑裂问题（网络分区）。引出“三态”。在单体架构中只会存在“成功”或“失败”两种结果，但是在分布式架构中由于网络异常将会出现“未知”的结果阅读全文

posted @ 2023-12-06 13:13 guoyu1 阅读(57) 评论(0) 推荐(0) 编辑

2023年12月3日

hbase compaction

摘要： https://www.51cto.com/article/761626.html 阅读全文

posted @ 2023-12-03 18:27 guoyu1 阅读(3) 评论(0) 推荐(0) 编辑

打怪up

公告