【MySQL主从复制】4、MySQL读写分离
一、使用amoeba实现MySQL读写分离
1、什么是Amoeba
- Amoeba(变形虫)项目，专注分布式数据库proxy开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。
- 主要解决：
- 降低数据切分带来的复杂多数据库结构
- 提供切分规则并降低数据切分规则给应用带来的影响
- 降低db与客户端的连接数
- 读写分离
2、为什么使用Amoeba
- 目前要实现MySQL的主从读写分离，主要有以下几种方案：
- 通过程序实现，网上很多现成的代码，比较复杂，如果添加从服务器要更改多台服务器的代码
- 通过mysql-proxy来实现，由于mysql-proxy的主从读写分离是通过lua脚本来实现，目前lua的脚本的开发跟不上节奏，因此导致用于生产环境的话风险比较大，据网上很多人说mysql-proxy的性能不高
- 自己开发接口实现，这种方案门槛高，开发成本高，不是一般的小公司能承担得起
- 利用阿里巴巴的开源项目Amoeba来实现，具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库，并且安装配置非常简单。
3、安装Amoeba
- 安装java的jdk
- 配置JDK
vi /etc/profile
# 在最下面加入两行
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export PATH=$PATH:$JAVA_HOME/bin
# 使环境变量及时生效
source /etc/profile 4、配置amoeba的配置文件
- dbServers.xml【amoeba文件夹下/conf下】
<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">
<!--
Each dbServer needs to be configured into a Pool,
If you need to configure multiple dbServer with load balancing that can be simplified by the following configu
ration: add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with n
ame factoryConfig such as 'multiPool' dbServer
-->
<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="connectionManager">${defaultManager}</property>
<property name="sendBufferSize">64</property>
<property name="receiveBufferSize">128</property>
<!-- mysql port -->
<!-- 设置amoeba要连接mysql数据库的端口，默认3306 -->
<property name="port">3306</property>
<!-- mysql schema -->
<!-- 设置缺省的数据库,当连接amoeba时，操作表必须显式的指定数据库名，即采用dbname.tablename的方式, 不支持use dbname指定缺省值,因为操作会调度到各个后端数据库-->
<property name="schema">msb</property>
<!-- mysql user -->
<!-- 设置amoeba连接后端数据库服务器的账户密码,因此需要在所有后端数据库上创建该用户，并授权amoeba服务器可连接 -->
<property name="user">root</property>
<property name="password">123</property>
</factoryConfig>
<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<!-- 最大连接数,默认500 -->
<property name="maxActive">500</property>
<!-- 最大空闲连接数 -->
<property name="maxIdle">500</property>
<!-- 最小空闲连接数 -->
<property name="minIdle">1</property>
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>
<!-- 设置后端可写的数据库, name可以任意命名 -->
<dbServer name="writedb" parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<!-- 写库即主数据库服务器地址 -->
<property name="ipAddress">192.168.85.11</property>
</factoryConfig>
</dbServer>
<!-- 设置后端可读的数据库, name可以任意命名 -->
<dbServer name="slave" parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<!-- 读库即从数据库服务器地址 -->
<property name="ipAddress">192.168.85.12</property>
</factoryConfig>
</dbServer>
<!-- 定义一个虚拟的dbserver，相当于一个dbserver组，将可读的数据库ip统一放到一个组内 -->
<dbServer name="myslave" virtual="true">
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- 选择调度算法: 1: 复制均衡 2: 权重 3: HA -->
<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name="loadbalance">1</property>
<!-- Separated by commas,such as: server1,server2,server1 -->
<!-- myslave组成员 -->
<property name="poolNames">slave</property>
</poolConfig>
</dbServer>
</amoeba:dbServers>- amoeba.xml
<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
<proxy>
<!-- service class must implements com.meidusa.amoeba.service.Service -->
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
<!-- port -->
<!-- 设置amoeba监听的端口, 默认为8066 -->
<property name="port">8066</property>
<!-- bind ipAddress -->
<!-- 注释掉默认所有的服务器都可以连接, 取消注释表示只有该服务器可以连接 -->
<!--
<property name="ipAddress">127.0.0.1</property>
-->
<property name="connectionFactory">
<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
<property name="sendBufferSize">128</property>
<property name="receiveBufferSize">64</property>
</bean>
</property>
<property name="authenticateProvider">
<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
<!-- 设置客户端连接amoeba时的账号，与后端数据库服务器密码无关 -->
<property name="user">root</property>
<property name="password">123</property>
<property name="filter">
<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
</bean>
</property>
</bean>
</property>
</service>
<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
<!-- proxy server client process thread size -->
<property name="executeThreadSize">128</property>
<!-- per connection cache prepared statement size -->
<property name="statementCacheSize">500</property>
<!-- default charset -->
<property name="serverCharset">utf8</property>
<!-- query timeout( default: 60 second , TimeUnit:second) -->
<property name="queryTimeout">60</property>
</runtime>
</proxy>
<!--
Each ConnectionManager will start as thread
manager responsible for the Connection IO read , Death Detection
-->
<connectionManagerList>
<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
</connectionManager>
</connectionManagerList>
<!-- default using file loader -->
<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
</dbServerLoader>
<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<property name="ruleLoader">
<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
</bean>
</property>
<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
<property name="LRUMapSize">1500</property>
<!-- 这是amoeba默认的池 -->
<property name="defaultPool">writedb</property>
<!-- 用来指定前面定义好的两个读写池 -->
<property name="writePool">writedb</property>
<property name="readPool">myslave</property>
<property name="needParse">true</property>
</queryRouter>
</amoeba:configuration>4、启动amoeba
/root/amoeba-mysql-3.0.5-RC/bin/launcher- 启动报错，报错详情如下：
- 解决方案：
JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss512k -XX:PermSize=16m -XX:MaxPermSize=96m"
# 配置好后，重新启动5、测试amoeba
# 测试的sql
# 在安装amoeba的服务器上登录mysql
mysql -h192.168.85.13 -uroot -p123 -P8066
# 分别在master、slave、amoeba上登录mysql
use msb
select * from user;
# 在amoeba上插入数据
insert into user values(2,2);
# 在master和slave上分别查看表中的数据
select * from user;
# 将master上的mysql服务停止，继续插入数据会发现插入不成功，但是能够查询
mysql> insert into user values(5, 5);
ERROR 1044 (42000): Amoeba could not connect to MySQL server[47.105.145.88:3307],拒绝连接
mysql> select * from user;
+------+------+
| id | age |
+------+------+
| 1 | 1 |
| 2 | 2 |
| 4 | 4 |
+------+------+
3 rows in set (0.07 sec)
# 将master上的msyql服务开启，停止slave上的mysql，发现插入成功，但是不能够查询
mysql> insert into user values(5, 5);
Query OK, 1 row affected (0.08 sec)
mysql> select * from user;
ERROR 1044 (42000): poolName=myslave, no valid pools本文来自博客园，作者：郭祺迦，转载请注明原文链接：https://www.cnblogs.com/guojie-guojie/p/16159348.html
分类:
Mysql
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通