使用Atles实现MySQL数据库读写分离

本文主要给大家简单讲讲使用Atles实现Mysql数据库读写分离，相关专业术语大家可以上网查查或者找一些相关书籍补充一下，这里就不涉猎了，我们就直奔主题吧，希望使用Atles实现mysql数据库读写分离这篇文章可以给大家带来一些实际帮助。      

Atlas官方文档：   https://GitHub.com/Qihoo360/Atlas/wiki 

       Atlas是由 Qihoo 360,  WEB平台部基础架构团队开发维护的一个基于Mysql协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平 台，每天承载的读写请求数达几十亿条。

主要功能：
* 读写分离
* 从库负载均衡
* IP过滤
* SQL语句黑白名单
* 自动分表

--------------------------------------------------------------------------------------------------

一、环境

# 本测试环境为一台多实例云服务器：3306（主），3308（从）

# Centos版本：
[root@m01/]# cat /etc/redhat-release 
CentOSrelease 6.7 (Final)
[root@m01/]# uname -r
2.6.32-573.el6.x86_64
[root@m01/]# /etc/init.d/iptables stop
[root@m01/]# getenforce
Disabled 

二、MySQL数据库创建用户并授权

# MySQL主从已经配置好之后，主从对Atlas进行授权
mysql> GRANT UPDATE,DELETE,INSERT,SELECT ON *.* TO 'atlas'@'%' IDENTIFIED BY 'atlas';

三、Atlas安装

CentOS-5.x下载地址

 Https://github.com/Qihoo360/Atlas/releases/download/2.0.2/Atlas-2.0.2.el5.x86_64.rpm
 rpm -ivh Atlas-2.0.2.el5.x86_64.rpm

CentOS-6.x下载地址

 https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el5.x86_64.rpm
 rpm -ivh Atlas-2.2.1.el5.x86_64.rpm

Atlas安装后的文件路径

 /usr/local/mysql-proxy/

四、Atlas配置

1. 加密MySQL用户密码，获取的加密串填写到配置文件的pwds参数中。

 /usr/local/mysql-proxy/bin/encrypt atlas
 KsWNCR6qyNk=

2. 编辑配置文件

       查看源配置文件内容

[root@db01 ~]# egrep -v "^#|^$" /usr/local/mysql-proxy/conf/test.cnf
[mysql-proxy]
admin-username = user
admin-passWord = pwd
proxy-backend-addresses = 127.0.0.1:3306
pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
proxy-address = 0.0.0.0:1234
admin-address = 0.0.0.0:2345

   本文编辑的配置文件内容如下：

[root@db01 conf]# vim test.cnf
[mysql-proxy]
admin-username = atlas
admin-password = atles
proxy-backend-addresses = 172.168.1.51:3306
proxy-read-only-backend-addresses = 172.16.1.51:3308@1
pwds = atlas:KsWNCR6qyNk=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
sql-log = ON
sql-log-slow = 1000
instance = test
proxy-address = 0.0.0.0:1234
admin-address = 0.0.0.0:2345
charset = utf8

配置文件中参数说明(带#号的为非必需的配置项目)

  管理接口的用户名

 admin-username = user

  管理接口的密码

 admin-password = pwd

  Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔

 proxy-backend-addresses = 172.16.1.51:3306

  Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔

 proxy-read-only-backend-addresses = 172.16.1.51:3306@1

  用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，下行的user1和user2为示例，将其替换为你的MySQL的用户名和加密密码！

 pwds = atlas:KsWNCR6qyNk=

  设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。

 daemon = true

  设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。

 keepalive = true

  工作线程数，对Atlas的性能有很大影响，可根据情况适当设置

 event-threads = 8

  日志级别，分为message、warning、critical、error、debug五个级别

 log-level = message

  日志存放的路径

 log-path = /usr/local/mysql-proxy/log

  SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF

# sql-log = OFF

  慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。

 # sql-log-slow = 8

  实例名称，用于同一台机器上多个Atlas实例间的区分

 # instance = test

  Atlas监听的工作接口IP和端口

 proxy-address = 0.0.0.0:1234

  Atlas监听的管理接口IP和端口

 admin-address = 0.0.0.0:2345

  分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项

 # tables = person.mt.id.3

  默认字符集，设置该项后客户端不再需要执行SET NAMES语句

 charset = utf8

  允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接

 # client-ips = 127.0.0.1, 192.168.1

  Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置

 # lvs-ips = 192.168.1.1

五：启动Atlas

  启动

[root@db01 conf]# /usr/local/mysql-proxy/bin/mysql-proxyd test start    
OK: MySQL-Proxy of test is started            
[root@db01 conf]# ps -ef | grep mysql-proxy
root   21447      1  0 05:45 ?       00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
root   21448  21447  0 05:45 ?       00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
root   21517  21324  0 06:06 pts/0   00:00:00 grep mysql-proxy

 关闭

/usr/local/mysql-proxy/bin/mysql-proxyd test stop

注意：

•  运行文件是：mysql-proxyd(不是mysql-proxy)。

•  test是conf目录下配置文件的名字，也是配置文件里instance项的名字（无后缀），三者需要统  一。（test.cnf == instance的test == 启动使用的test）

•  可以使用ps -ef|grep mysql -proxy查看Atlas是否已经启动或停止。

六、测试

mysql -h20.0.0.51 -P1234 -uatlas -patlas -e "select user,host from mysql.user;"

mysql -h227.0.0.1 -P2345 -uuser -ppwd
mysql> select * from help;
mysql> SELECT * FROM backends;
+-------------+------------------+-------+------+
| backend_ndx | address          | state | type |
+-------------+------------------+-------+------+
|           1 | 172.16.1.51:3306 | up    | rw   |
|           2 | 172.16.1.51:3307 | up    | ro   |
+-------------+------------------+-------+------+

测试读写分离,在后端节点执行

#主库只接收写入请求
tcpdump -i any -s 0 -A -n -p port 3306 and src 172.16.1.51|grep -i -E 'SELECT|INSERT|UPDATE|DELETE'
#从库只接受读取请求
tcpdump -i any -s 0 -A -n -p port 3308 and src 172.16.1.51|grep -i -E 'SELECT|INSERT|UPDATE|DELETE

七、Atlas参数备注

instance参数：
  同一台机器上的多个Atlas实例，使用不同的端口，对应不同数据库，使用各自的配置文件
默认的黑白名单：
  不带where的delete会屏蔽，"sleep"会屏蔽
备注：
1.03版本已经支持set autocommit语句，另外对于python来说需要在连接上后执行一句conn.autocommit(True)
pwds参数
配置MySQL用户名和对应的加密过的MySQL密码，密码使用/usr/local/mysql-proxy/bin/encrypt程序进行加
密，用户名和密码用冒号分开，可以使用多个用户，用逗号空格分隔。
client-ips参数
在引入中间层后，因为连接DB的是Atlas，所以DB改为对部署Atlas的机器的IP作访问授权，而client-ips参
数用来控制连接Atlas的客户端的IP
lvs-ips参数
比如LVS后面挂接两台Atlas，分别叫A和B，LVS去循环检测A和B的存活，当Atlas检测到是LVS的IP来请求时
，根据在线或不在线状态，向LVS的检测脚本返回不同的值，这里是设置Atlas前面的LVS的物理网卡的IP。

八、Atlas管理接口使用

  语法：mysql -u管理用户 -p管理密码 -h227.0.0.1 -P管理端口

  mysql -uuser -ppwd -h227.0.0.1 -P2345

  查看管理语句参数：

  mysql> select * from help;

  查看DB状态：

mysql> select * from backends;
+-------------+-------------------+-------+------+------+-------------------+
| backend_ndx | address           | state | type | uuid | connected_clients |
+-------------+-------------------+-------+------+------+-------------------+
| 1           | 172.16.1.20:3306  | up    | rw   | NULL | 0                 |
| 2           | 172.16.1.30:3306  | up    | ro   | NULL | 0                 |
+-------------+-------------------+-------+------+------+-------------------+

备注：
connected_clients这个参数有bug，不能正常显示。

九、Atlas常见问题

1、Atlas多实例启动问题：
  如果配置文件中instance = instance，启动参数如下：

/usr/local/mysql-proxy/bin/mysql-proxyd instance start

  如果配置文件中instance = test，启动参数如下：

/usr/local/mysql-proxy/bin/mysql-proxyd test start

  可以使用mysql-proxy命令启动，

/usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf

备注：
  使用脚本启动时，注意区分bin目录下面的mysql-proxy 和 mysql-proxyd 。

2、使用Atlas时出现"too many connections"
     原因是DB的max_connections设置过小

3、在管理接口发现后端DB的状态为down
    a、后端DB是否已对Atlas所在机器的IP授权
    b、推荐DB的my.cnf里的max_connect_errors设置为100000，默认值是10，值太小会影响Atlas对DB的存活检测，可以修            改my.cnf文件的max_connect_errors参数，或者用下面指令直接修改；

 mysql> set global max_connect_errors=100000;

4、主从同步延迟，不能马上读数据，可以在SQL语句前增加  ，就可以将读请求强制发往主库。

使用Atles实现MySQL数据库读写分离就先给大家讲到这里，对于其它相关问题大家想要了解的可以持续关注我们的数据库。我们的板块内容每天都会捕捉一些行业新闻及专业知识分享给大家的。