大数据运维 - 博客园

[置顶] Docker Swarm集群环境手动部署

摘要： 1. 建议配置系统： CentOS7+ (最小化安装能访问公网) CPU： 8Core+ 内存： 24GB 磁盘： =100GB+ 服务器数量： 4 2. 适配系统测试兼容阿里云CentOS7+、Redhat7+ 测试兼容华为云CentOS7+、Redhat7+ 测试兼容腾讯云CentOS7+ 阅读全文

posted @ 2020-01-21 10:40 大数据运维阅读(297) 评论(0) 推荐(0) 编辑

storm性能优化小记

摘要： 1、默认情况下： 1个supervisor节点启动4个worker进程。每一个topology默认占用一个worker进程。每个worker会启动executor。每个executor默认启动一个task。 2、并行度什么是并行度？在 Storm 的设定里，并行度大体分为3个方面：一个 t 阅读全文

posted @ 2022-08-23 17:35 大数据运维阅读(288) 评论(0) 推荐(0) 编辑

AIOps在美团的探索与实践—故障发现

摘要：一、背景 AIOps，最初的定义是Algorithm IT Operations，是利用运维算法来实现运维的自动化，最终走向无人化运维。随着技术成熟，逐步确定为Artificial Intelligence for IT Operations——智能运维，将人工智能应用于运维领域，基于已有的运维数据阅读全文

posted @ 2022-07-29 23:22 大数据运维阅读(497) 评论(0) 推荐(0) 编辑

Apache Doris在美团外卖数仓中的应用实践

摘要：序言美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于Doris引擎的RO 阅读全文

posted @ 2022-07-29 23:12 大数据运维阅读(370) 评论(0) 推荐(0) 编辑

Mycat之MySql 读写分离与日志分析——主从多节点

摘要： 1 环境说明接上篇环境《Mycat学习笔记》第一篇. MySql 读写分离与日志分析——主从单结点 http://www.cnblogs.com/kaye0110/p/5134588.html 增加一套 mysql 实例，端口为3308 ，通过Binlog方式同步主机情况 localhost 阅读全文

posted @ 2019-12-31 13:21 大数据运维阅读(619) 评论(0) 推荐(0) 编辑

Mycat之MySql读写分离与日志分析——主从单节点

摘要： 1 环境说明 1.1 MyCat 使用MyCat 1.5 ALPHA版本，下载地址：http://www.mycat.org.cn/ 《Mycat 权威指南》：http://pan.baidu.com/s/1c0QnQBA 本案例使用Windows7 环境，与 Linux 或 Mac 操作基本一阅读全文

posted @ 2019-12-31 13:19 大数据运维阅读(338) 评论(0) 推荐(0) 编辑

MyCAT 配置解析

摘要： MyCAT 配置解析 server.xml Mycat的配置文件，设置账号、参数等schema.xml Mycat对应的物理数据库和数据库表的配置rule.xml Mycat分片（分库分表）规则一：wrapper.conf--配置jdkwrapper.java.command=D:/Progra 阅读全文

posted @ 2019-12-27 16:05 大数据运维阅读(377) 评论(0) 推荐(0) 编辑

Mysql不锁表备份之Xtrabackup的备份与恢复

摘要：一、Xtrabackup介绍 MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一阅读全文

posted @ 2019-09-24 09:52 大数据运维阅读(3635) 评论(0) 推荐(0) 编辑

Hbase表两种数据备份方法

摘要： Hbase表两种数据备份方法-导入和导出示例本文将提供两种备份方法 —— 1) 基于Hbase提供的类对hbase中某张表进行备份 2) 基于Hbase snapshot数据快速备份方法场合：由于线上和测试环境是分离的，无法在测试环境访问线上库，所以需要将线上的hbase表导出一部分到测试环境中阅读全文

posted @ 2019-08-06 09:54 大数据运维阅读(6233) 评论(0) 推荐(0) 编辑

HBase集群备份方法

摘要： 1.简介当HBase数据库中存在非常重要的业务数据的时候为了保护数据的可以对数据进行备份处理。对于HBase来说从备份操作来看可分为离线备份和在线备份。 2. 前准备在测试环境上准备有哦两套HBase集群，资源有限原因他们共享一个hdfs集群和zookeeper，通过配置不同node路径和数据路阅读全文

posted @ 2019-08-06 09:48 大数据运维阅读(1500) 评论(0) 推荐(0) 编辑