Amoeba实现mysql数据库主从、读写分离
1、什么是Amoeba？
Amoeba 的中文名是：变形虫。它是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。
Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。
Amoeba 由陈思儒开发，曾经就职阿里巴巴！该程序由 Java 程序开发。
2、Amoeba的优缺点
优点：
Amoeba主要解决以下问题：
a). 数据切分后复杂数据源整合
b). 提供数据切分规则并降低数据切分规则给数据库带来的影响
c). 降低数据库与客户端连接
d). 读写分离路由
缺点：
a)、目前还不支持事务
b)、暂时不支持存储过程（近期会支持）
c)、不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（比如一次请求返回10w以上甚至更多数据的场合）
d)、暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致
3、mysql主从复制原理
（1）主从复制原理图
（2）工作过程
MySQL 主服务器开始写入数据，就会记录在二进制日志文件中。从服务器有两个线程，分别是 I/o线程 与 SQL 线程。这时从服务器就会让 I / O 线程在 主服务器上打开一个口，这时会读取二进制日志文件写入中继日志中，SQL 线程就会读取中继日志，并重放日志中的事件，从服务器就会通过日志来同步主服务器。
4、mysql读写分离原理
（1）读写分离原理
（2）读写分离过程：
amoeba作为访问数据库的前端程序，当其接收到来自客户端或者是应用段的sql语句对数据库做处理的时候，将sql语句进行分类，比如sql语句中有select关键词则作为数据库读操作，否则作为数据库写操作。Amoeba作为数据库和客户端的中间件，会同时链接master数据库和slave数据库。由于一般网站读操作远多于写操作，所以我们定义master数据库做为写操作的数据库，slave数据库作为读操作的数据库。这样amoeba就会将来自于客户端的写操作路由到master数据库，将读操作路由到slave数据库，来实现读写分离功能。
5、服务器环境
主从复制这块就不做了，下面来看amoeba的 安装配置。
6、安装JDK
由于amoeba是java写的，所以需要安装jdk环境（安装过程略）
7、Amoeba安装
可以从https://sourceforge.net/projects/amoeba/下载最新版本的Amoeba，我这里下载的是amoeba-mysql-3.0.5-RC-distribution.zip。Amoeba安装非常简单，直接解压即可使用，这里将Amoeba解压到/usr/local/amoeba目录下，这样就安装完成了。
8、配置Amoeba
Amoeba的配置文件在本环境下位于/usr/local/amoeba/conf目录下。配置文件比较多，但是仅仅使用读写分离功能，只需配置两个文件即可，分别是dbServers.xml和amoeba.xml，如果需要配置ip访问控制，还需要修改access_list.conf文件。
（1）修改dbServers.xml
<?xml version="1.0" encoding="gbk"?> <!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd"> <amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/"> <!-- Each dbServer needs to be configured into a Pool, If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration: add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig such as 'multiPool' dbServer --> <dbServer name="abstractServer" abstractive="true"> <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> <property name="connectionManager">${defaultManager}</property> <property name="sendBufferSize">64</property> <property name="receiveBufferSize">128</property> <!-- mysql port --> <property name="port">3306</property> #设置Amoeba要连接的mysql数据库的端口，默认是3306 <!-- mysql schema --> <property name="schema">school</property> #设置缺省的数据库，当连接amoeba时，操作表必须显式的指定数据库名，
即采用dbname.tablename的方式，不支持 use dbname指定缺省库，因为操作会调度到各个后端dbserver <!-- mysql user --> <property name="user">amoeba</property> #设置amoeba连接后端数据库服务器的账号和密码，因此需要在所有后端数据库上创建该用户，并授权amoeba服务器可连接 <property name="password">password</property> </factoryConfig> <poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool"> <property name="maxActive">500</property> #最大连接数，默认500 <property name="maxIdle">500</property> #最大空闲连接数 <property name="minIdle">1</property> #最新空闲连接数 <property name="minEvictableIdleTimeMillis">600000</property> <property name="timeBetweenEvictionRunsMillis">600000</property> <property name="testOnBorrow">true</property> <property name="testOnReturn">true</property> <property name="testWhileIdle">true</property> </poolConfig> </dbServer> <dbServer name="writedb" parent="abstractServer"> #设置一个后端可写的dbServer，这里定义为writedb，这个名字可以任意命名，后面还会用到 <factoryConfig> <!-- mysql ip --> <property name="ipAddress">172.16.40.2</property> #设置后端可写dbserver </factoryConfig> </dbServer> <dbServer name="readdb" parent="abstractServer"> #设置后端可读dbserver <factoryConfig> <!-- mysql ip --> <property name="ipAddress">172.16.40.85</property> </factoryConfig> </dbServer> <dbServer name="myslave" virtual="true"> #设置定义一个虚拟的dbserver，实际上相当于一个dbserver组，这里将可读的数据库ip统一放到一个组中 <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"> <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> <property name="loadbalance">1</property> #选择调度算法，1表示复制均衡，2表示权重，3表示HA， 这里选择1 <!-- Separated by commas,such as: server1,server2,server1 --> <property name="poolNames">readdb</property> #myslave组成员 </poolConfig> </dbServer> </amoeba:dbServers>
（2）修改amoeba.xml文件
<?xml version="1.0" encoding="gbk"?> <!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd"> <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/"> <proxy> <!-- service class must implements com.meidusa.amoeba.service.Service --> <service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService"> <!-- port --> <property name="port">8066</property> #设置amoeba监听的端口，默认是8066 <!-- bind ipAddress --> <!-- <property name="ipAddress">127.0.0.1</property> --> <property name="ipAddress">172.16.40.92</property> #下面配置监听的接口，如果不设置，默认监听所以的IP <property name="connectionFactory"> <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory"> <property name="sendBufferSize">128</property> <property name="receiveBufferSize">64</property> </bean> </property> <property name="authenticateProvider"> <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"> <property name="user">amoeba</property> # 提供客户端连接amoeba时需要使用这里设定的账号 (这里的账号密码和amoeba连接后端数据库服务器的密码无关) <property name="password">123456</property> <property name="filter"> <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController"> <property name="ipFile">${amoeba.home}/conf/access_list.conf</property> </bean> </property> </bean> </property> </service> <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext"> <!-- proxy server client process thread size --> <property name="executeThreadSize">128</property> <!-- per connection cache prepared statement size --> <property name="statementCacheSize">500</property> <!-- default charset --> <property name="serverCharset">utf8</property> <!-- query timeout( default: 60 second , TimeUnit:second) --> <property name="queryTimeout">60</property> </runtime> </proxy> <!-- Each ConnectionManager will start as thread manager responsible for the Connection IO read , Death Detection --> <connectionManagerList> <connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper"> <property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property> </connectionManager> </connectionManagerList> <!-- default using file loader --> <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader"> <property name="configFile">${amoeba.home}/conf/dbServers.xml</property> </dbServerLoader> <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"> <property name="ruleLoader"> <bean class="com.meidusa.amoeba.route.TableRuleFileLoader"> <property name="ruleFile">${amoeba.home}/conf/rule.xml</property> <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property> </bean> </property> <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property> <property name="LRUMapSize">1500</property> <property name="defaultPool">writedb</property> #设置amoeba默认的池，这里设置为writedb <property name="writePool">writedb</property> #这两个选项默认是注销掉的，需要取消注释，这里用来指定前面定义好的俩个读写池 <property name="readPool">myslave</property> <property name="needParse">true</property> </queryRouter> </amoeba:configuration>
9、启动Amoeba
进入目录/usr/local/amoeba/bin 下，启动amoeba,发现报错：
两个原因：
（1）java8 中没有Perm，将/usr/local/amoeba/jvm.properties这个文件中直接删除Perm相关参数设置。
（2）stack设置的太小，设置如下： JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k"
然后杀死amoeba的进程，重新运行amoeba。
查看一下监听端口：
# lsof -i:8066
10、验证读写分离
（1）创建一个数据库查看主从上是不是成功同步了
MariaDB > create database school;
（2）分别在master和slave上为amoedb授权
MariaDB > grant all on school.* to 'amoeba'@'172.16.40.%' identified by 'password';
（3）远程登陆mysql客户端通过指定amoeba配置文件中指定的用户名、密码、和端口以及amoeba服务器ip地址链接mysql数据库
# mysql -h 172.16.40.92 -P 8066 -uamoeba -p
（4）在school数据库中创建info表并插入数据
MariaDB [school]> create table info (id int(10) primary , name varchar(50), score decimal(5,2));
MariaDB [school]> insert into info （id,name,score） values (1,'zhangsan',89);
（5）分别在master和slave上查看插入的数据；
MariaDB [school]> select * from info;
+----+----------+-------+
| id | name | score |
+----+----------+-------+
| 1 | zhangsan | 89.00 |
+----+----------+-------+
（6）停掉masterdb，然后在客户端分别执行插入和查询功能，发现master停掉后无法插入数据，但是可以查询
mysql> insert into info (id,name,score) values (2,'lisi',90);
ERROR 1044 (42000): Amoeba could not connect to MySQL server[172.16.40.2:3306],拒绝连接
mysql> select * from info;
+----+----------+-------+
| id | name | score |
+----+----------+-------+
| 1 | zhangsan | 89.00 |
| 2 | lisi | 90.00 |
+----+----------+-------+
(7) 开启master，然后停止slave,分别在客户端插入和查询，返现无法查询，但是可以插入
mysql> insert into info (id,name,score) values (3,'lily',92);
Query OK, 1 row affected (0.05 sec)
mysql> select * from info;
ERROR 1044 (42000): poolName=myslave, no valid pools
（8）然后打开slave,查看同步情况，发现数据已经同步完成
MariaDB [school]> select * from info;
+----+----------+-------+
| id | name | score |
+----+----------+-------+
| 1 | zhangsan | 89.00 |
| 2 | lisi | 90.00 |
| 3 | lily | 92.00 |
+----+----------+-------+
至此发现主从同步和读写分离是正常的。
备注：
Amoeba主配置文件($AMOEBA_HOME/conf/amoeba.xml)，用来配置Amoeba服务的基本参数，如Amoeba主机地址、端口、认证方式、用于连接的用户名、密码、线程数、超时时间、其他配置文件的位置等。
数据库服务器配置文件($AMOEBA_HOME/conf/dbServers.xml)，用来存储和配置Amoeba所代理的数据库服务器的信息，如:主机IP、端口、用户名、密码等。
切分规则配置文件($AMOEBA_HOME/conf/rule.xml)，用来配置切分规则。
数据库函数配置文件($AMOEBA_HOME/conf/functionMap.xml)，用来配置数据库函数的处理方法，Amoeba将使用该配置文件中的方法解析数据库函数。
切分规则函数配置文件($AMOEBA_HOME/conf/ruleFunctionMap.xml)，用来配置切分规则中使用的用户自定义函数的处理方法。
访问规则配置文件($AMOEBA_HOME/conf/access_list.conf)，用来授权或禁止某些服务器IP访问Amoeba。
日志规格配置文件($AMOEBA_HOME/conf/log4j.xml)，用来配置Amoeba输出日志的级别和方式。
