2023年9月24日
kafka集群搭建
摘要： 应用场景 削峰填谷：就像小米卖手机搞饥饿营销，打开他的官网首页就需要排队，把用户的请求存放到消息队列，后端的服务器过一段时间在去处理异步解耦：京东用户下订单，双十11的时候订单量很大，而后端数据库是没有那么大的处理能力，先把订单放在消息队列，然后让数据库链接消息队列kafka慢慢的把数据写入到数据库 阅读全文
posted @ 2023-09-24 22:50 YYQ- 阅读(97) 评论(0) 推荐(0) 编辑
ZooKeeper集群搭建
摘要： ZooKeeper 是一个分布式服务框架，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：命名服务、状态同步、配置中心、集群管理等。 消费者模型 0 生产者启动 1 生产者注册至 zookeeper(生产者的代码启动) 2 消费者启动并订阅频道(消费者往那个频道注册的就会到那个频道去找， 阅读全文
posted @ 2023-09-24 19:07 YYQ- 阅读(65) 评论(0) 推荐(0) 编辑
rabbitmq集群搭建-镜像模式
摘要： rabbitmq简介 RabbitMQ 采用 Erlang 语言开发，Erlang 语言由 Ericson 设计，Erlang 在分布式编程和故障恢复方面表现出色，电信领域被广泛使用。 Broker: 接收和分发消息的应用，RabbitMQ Server 就是Message Broker，一个Bro 阅读全文
posted @ 2023-09-24 01:29 YYQ- 阅读(605) 评论(0) 推荐(0) 编辑
2023年9月18日
记录一次k8s集群升级报错
摘要： 集群升级报错 failed to upgrade cluster, err: the cluster is already in upgrading, taskID: "upgradeclusterv3-cdd88149e9bb444e38f9857bbaadaad99-1656899231-041 阅读全文
posted @ 2023-09-18 17:05 YYQ- 阅读(64) 评论(0) 推荐(0) 编辑
k8s集群pod出现Evicted状态
摘要： 生产pod出现Evicted状态 其中报错提示 检查原因，发现是磁盘压力导致pod被驱逐，IO匹配不了应用的需求,导致pod被驱逐，更换更高规格的磁盘可以解决此问题 Evicted状态的pod直接删除即可。 阅读全文
posted @ 2023-09-18 16:05 YYQ- 阅读(114) 评论(0) 推荐(0) 编辑
2023年9月15日
losf定位文件被那个程序打开和对误删除的文件进行恢复方法
摘要： lsof查看文件被那个进程打开 #lsof 列出当前所有打开的文件 [root@centos8 ~]#lsof|head COMMAND PID TID TASKCMD USER FD TYPE DEVICE SIZE/OFF NODE NAME systemd 1 root cwd DIR 8,2 阅读全文
posted @ 2023-09-15 18:33 YYQ- 阅读(49) 评论(0) 推荐(0) 编辑
2023年9月13日
filebeat收集nginx日志到redis，logstash从redis取日志到es集群
摘要： #在filebeat服务器安装nginx并且配置json格式的日志 root@ubuntu:~# cat /etc/nginx/nginx.conf user www-data; worker_processes auto; pid /run/nginx.pid; include /etc/ngin 阅读全文
posted @ 2023-09-13 16:42 YYQ- 阅读(324) 评论(0) 推荐(0) 编辑
filebeat收集nginx日志发送到kafka，Logstash 读取 Kafka 日志消息队列到Elasticsearch，kibana做图形展示
摘要： 服务器配置 es集群：10.0.0.70、10.0.0.71、10.0.0.72kibana：10.0.0.73mysql：10.0.0.73filebeat1-web1：10.0.0.74filebeat2-web2：10.0.0.76kafka1-logstash1：10.0.0.77kafka 阅读全文
posted @ 2023-09-13 16:37 YYQ- 阅读(273) 评论(0) 推荐(0) 编辑
nginx配置详细
摘要： 全局配置 user nginx nginx; #启动Nginx工作进程的用户和组worker_processes [number | auto]; #启动Nginx工作进程的数量,一般设为和CPU核心数相同，auto自动根据cpu的核数生成对应的worker工作进程worker_cpu_affini 阅读全文
posted @ 2023-09-13 16:19 YYQ- 阅读(452) 评论(0) 推荐(0) 编辑
2023年8月31日
redis配置详细
摘要： # 默认情况下，redis不是在后台模式运行的，如果需要在后台进程运行，把该项的值更改为yes，默认为no **daemonize no** #redis服务以后台进程运行的时候，Redis默认会把pid写入/var/run/redis.pid文件组 pidfile /var/run/redis.p 阅读全文
posted @ 2023-08-31 15:48 YYQ- 阅读(54) 评论(0) 推荐(0) 编辑