2023年3月22日
golang解决kafka消息重复发送和重复消费
摘要： 1、解决消息重复发送 当使用Kafka生产者发送消息时，可以设置消息的Key，使用Key来保证相同Key的消息不会被重复发送。在发送消息时，可以使用带Key的消息发送方式，如下所示： msg := &sarama.ProducerMessage{ Topic: "test", Partition: 阅读全文
posted @ 2023-03-22 17:42 ParallelForEach 阅读(943) 评论(0) 推荐(0) 编辑
golang解决kafka消息丢失
摘要： Kafka是一个高吞吐量的分布式发布订阅消息系统，由于其高效的消息传递机制，被广泛应用于大规模数据处理、日志收集和实时数据流处理等场景中。但是，由于网络、硬件等原因，Kafka的消息有时可能会出现丢失的情况。下面是一些Go语言中解决Kafka消息丢失问题的方法： 1.设置合适的Kafka配置 在创建 阅读全文
posted @ 2023-03-22 17:31 ParallelForEach 阅读(287) 评论(0) 推荐(0) 编辑
2023年3月17日
kafka和rabbitmq以及rocketmq的区别
摘要： Kafka、RabbitMQ和RocketMQ都是流行的开源消息队列系统，但它们有一些区别： 应用场景：Kafka主要用于大规模的实时数据管道和流式处理应用；RabbitMQ更适合消息传递和任务队列场景；RocketMQ则是针对分布式大规模数据处理和低延迟的场景。 数据存储方式：Kafka使用磁盘存 阅读全文
posted @ 2023-03-17 22:30 ParallelForEach 阅读(336) 评论(0) 推荐(0) 编辑
2023年3月7日
redis缓存雪崩、击穿、穿透
摘要： 用户的数据一般都是存储于数据库，数据库的数据是落在磁盘上的，磁盘的读写速度可以说是计算机里最慢的硬件了。 当用户的请求，都访问数据库的话，请求数量一上来，数据库很容易就奔溃的了，所以为了避免用户直接访问数据库，会用 Redis 作为缓存层。 因为 Redis 是内存数据库，我们可以将数据库的数据缓存 阅读全文
posted @ 2023-03-07 11:53 ParallelForEach 阅读(135) 评论(0) 推荐(0) 编辑
Golang+Gin+ Redis Cluster
摘要： 最近用redis shake做redis数据迁移，由于redis提供的客户端没有用于查看集群的工具，且我部署的redis集群是基于k8s来构建的，没有使用ingress做转发，所以只能在k8s内部访问集群，于是我先用go+gin框架编写了访问redis集群的代码，然后打成镜像，再部署到k8s中，创建 阅读全文
posted @ 2023-03-07 11:31 ParallelForEach 阅读(684) 评论(0) 推荐(0) 编辑
docker-compose搭建redis集群
摘要： 1、编写 Redis 配置文件 # 创建目录 mkdir -p /home/docker/docker-redis/redis-cluster # 切换至指定目录 cd /home/docker/docker-redis/redis-cluster/ # 编写 redis-cluster.tmpl 阅读全文
posted @ 2023-03-07 11:19 ParallelForEach 阅读(986) 评论(0) 推荐(0) 编辑
2022年11月15日
linux搭建NFS文件共享服务器的步骤详解
摘要： 搭建步骤 1、安装nfs所需软件包 yum install rpcbind nfs-utils 2、创建测试文件并赋权限 mkdir /home/test chmod -R 777 /home/test/ cd /home/test/ vim aaa/bbb.txt 3、修改配置文件 vim /et 阅读全文
posted @ 2022-11-15 18:54 ParallelForEach 阅读(1308) 评论(0) 推荐(0) 编辑
2022年11月8日
ubuntu 安装docker
摘要： Docker 支持以下版本的 Ubuntu 操作系统： Ubuntu Hirsute 21.04 Ubuntu Groovy 20.10 Ubuntu Focal 20.04 (LTS) Ubuntu Bionic 18.04 (LTS) Docker 可以安装在 64 位的 x86 平台或 ARM 阅读全文
posted @ 2022-11-08 22:28 ParallelForEach 阅读(166) 评论(0) 推荐(0) 编辑
2022年8月10日
Dcoker基础命令
摘要： 1、列出所有的容器 ID docker ps -aq 2、停止所有的容器 docker stop $(docker ps -aq) 3、删除所有的容器 docker rm $(docker ps -aq) 4、删除所有的镜像 docker rmi $(docker images -q) 5、复制文件 阅读全文
posted @ 2022-08-10 19:13 ParallelForEach 阅读(23) 评论(0) 推荐(0) 编辑
arm架构下安装dotnet
摘要： 说明：一般不支持3.1以下系统运行 1、去官网：https://dotnet.microsoft.com/en-us/download/dotnet 上传到相关文件夹，亦可以从linux命令下载 解压： tar -zxf aspnetcore-runtime-5.0.17-linux-arm64.t 阅读全文
posted @ 2022-08-10 11:49 ParallelForEach 阅读(751) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示