随笔分类 -  Elasticsearch

摘要:一、需求 提示:提前安装好redis并启动redis服务来存放binlog位置点和binlog文件。全量同步完这2张表后,开始增量同步这2张表数据到ES索引test01_company_index中 最初的MySQL的binglog位置点和binlog文件如下: root@tidb04 16:42: 阅读全文
posted @ 2021-08-09 22:59 勤奋的蓝猫 阅读(11) 评论(0) 推荐(0) 编辑
摘要:一、演示场景: 演示的场景主要是解决MySQL多张业务大表进行多表join查询效率低下的问题。通过把MySQL的多张大表的数据同步到同一个ES索引中。(也就是有多表字段合并到es一张宽表来解决MySQL多表join效率低下的问题) 1.1、演示环境 自建MySQL服务5.7.22 ES单实例版本6. 阅读全文
posted @ 2021-08-08 18:33 勤奋的蓝猫 阅读(67) 评论(0) 推荐(0) 编辑
摘要:说明: 演示mysqlmom增量的同步数据到ES环境中redis版本3.2.8,ES-5.0.0,mysql5.7.22 分析 binlog 的增量同步的要求: 1.确保要增量同步的MySql数据库开启binlog,且开启redis(为了存储最后一次读到的binlog文件名及读到的位置。未来可能支持 阅读全文
posted @ 2021-07-31 23:57 勤奋的蓝猫 阅读(19) 评论(0) 推荐(0) 编辑
摘要:特殊提示: 本次演示的ES的版本为公司内部定制的elasticsearch-5.0.0的版本测试的,而且ES是单节点安装。本次演示从一个全量同步MySQL表数据到elasticsearch-5.0.0开始 一、创建全量同步配置文件 [root@tidb05 mysqlsmom]# mom new t 阅读全文
posted @ 2021-07-31 23:20 勤奋的蓝猫 阅读(11) 评论(0) 推荐(0) 编辑
摘要:一、mysqlmom简单介绍: 一个同步Mysql数据到Elasticsearch的工具,特色是支持分析 binlog 做实时增量同步,以及支持编写自定义逻辑处理数据后再同步到ES 纯 Python 编写,运行 mysqlsmom 的唯三要求: python2.7 redis Mysql 配置 bi 阅读全文
posted @ 2021-07-31 22:59 勤奋的蓝猫 阅读(74) 评论(0) 推荐(0) 编辑
摘要:一、rpm包方式安装elasticsearch 环境是: 登录后复制 [root@sdk-25 run]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 关闭selinx, 下面是安装和启动命令 [root@local-21 阅读全文
posted @ 2021-03-27 18:52 勤奋的蓝猫 阅读(27) 评论(0) 推荐(0) 编辑
摘要:Memcached是一个自由开源的,高性能,分布式内存对象缓存系统。 Memcached简洁而强大。它的简洁设计便于快速开发,减轻开发难度,解决了大数据量缓存的很多问题。它的API兼容大部分流行的开发语言。 本质上,它是一个简洁的key-value存储系统。 我们这里用到的memcache 版本: 阅读全文
posted @ 2018-01-18 17:17 勤奋的蓝猫 阅读(8) 评论(0) 推荐(0) 编辑
摘要:[root@tomcat02 ~]# cat /etc/init.d/memcached #!/bin/bash Init file for memcached chkconfig: - 86 14 description: Distributed memory caching daemon pro 阅读全文
posted @ 2018-01-01 21:31 勤奋的蓝猫 阅读(3) 评论(0) 推荐(0) 编辑
摘要:1.准备安装包:libevent-2.1.8-stable.tar.gzmemcached-1.5.0.tar.gzmemcache-2.2.7.tgz 2.安装libeventtar xf /opt/libevent-2.1.8-stable.tar.gz cd libevent-2.1.8-st 阅读全文
posted @ 2017-08-31 22:30 勤奋的蓝猫 阅读(2) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示