扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > 其他教程 >StoneDB主从配置及切换实践方案
  • 523

0
分享到

StoneDB主从配置及切换实践方案

StoneDB主从配置StoneDB主从切换StoneDB方案 2022-11-13 18:11:49 523人浏览 薄情痞子
摘要

目录1、操作系统环境检查1.1 关闭防火墙1.2 关闭SElinux1.3 设置Swap分区1.4 修改操作系统的限制1.5 创建用户2、部署Mysql2.1 下载安装包2.2 卸载

StoneDB 的主从切换既可以手动切换，也可以自动切换，自动切换通常需要使用第三方中间件。本文介绍的是较为常用的中间件 Replication Manager，当 master 发生宕机时，可自动切换至 slave，保证业务正常运行，故障节点恢复后再加入主从。

服务器配置说明

IPMemoryCPUOS version
192.168.30.408G8CCentos Linux release 7.9
192.168.30.418G8CCentOS Linux release 7.9
192.168.30.428G8CCentOS Linux release 7.9
192.168.30.4616G16CCentOS Linux release 7.9

注：主从环境中的各个服务器的配置一般情况下建议是一致的，但由于 StoneDB 不管重放 binlog，还是用于 OLAP 场景的查询，都是较消耗系统资源的，建议 StoneDB 配置略高于 mysql。

主从环境说明

IPDATABASEROLEDB version
192.168.30.40MysqlmasterMySQL 5.7
192.168.30.41/Replication Manager/
192.168.30.42MySQLslaveMySQL 5.7
192.168.30.46StoneDBslaveStoneDB 5.7

注：MySQL 与 StoneDB 的版本建议保持一致。

推荐采用一主两从的架构，其中 StoneDB 不参与主从切换：

1）master（192.168.30.40）使用 InnoDB 引擎，可读写，提供 OLTP 场景的读写业务；

2）slave1（192.168.30.42）使用 InnoDB 引擎，只读，同时作为 standby，当 master 发生宕机时，可切换至 slave1，保证业务正常运行；

3）slave2（192.168.30.46）使用 Tianmu 引擎，只读，提供 OLAP 场景的读业务。

1、操作系统环境检查

操作系统环境检查的步骤在四个节点均需要执行。

1.1 关闭防火墙

# systemctl stop firewalld 
# systemctl disable firewalld

1.2 关闭SELINUX

# vim /etc/selinux/config
SELINUX = disabled

1.3 设置Swap分区

修改vm.swappiness的值为1，表示尽量不使用Swap。

# vi /etc/sysctl.conf
vm.swappiness = 1

1.4 修改操作系统的限制

# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 1031433
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65535
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

修改操作系统的软硬限制
# vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
mysql soft nproc 1028056
mysql hard nproc 1028056

1.5 创建用户

# groupadd mysql
# useradd -g mysql mysql
# passwd mysql

Replication Manager 节点无需创建，以上步骤执行完之后，重启操作系统。

2、部署MySQL

在 master 节点和 slave1 节点安装 MySQL。

2.1 下载安装包

https://downloads.mysql.com/arcHives/commUnity/从官网下载 MySQL 5.7 的安装包。

2.2 卸载mariadb

# rpm -qa|grep mariadb
mariadb-5.5.56-2.el7.x86_64
mariadb-server-5.5.56-2.el7.x86_64
mariadb-libs-5.5.56-2.el7.x86_64
# yum remove mariadb*
# rpm -qa|grep mariadb

2.3 上传tar包并解压

# tar -zxvf mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
# cd /usr/local/
# mv mysql-5.7.36-linux-glibc2.12-x86_64 mysql

2.4 创建目录

# mkdir -p /mysql/data/
# mkdir -p /mysql/log
# chown -R mysql:mysql /mysql/

2.5 配置参数文件 my.cnf

master

# vim /etc/my.cnf
[client]
port    = 3306
Socket  = /mysql/data/mysql.sock

[mysqld]
port      = 3306
basedir   = /usr/local/mysql
datadir   = /mysql/data
socket    = /mysql/data/mysql.sock
pid_file  = /mysql/data/mysqld.pid
log_error = /mysql/log/mysqld.log
log_bin   = /mysql/log/mybinlog
server_id = 40
character_set_server = utf8mb4
collation_server = utf8mb4_general_ci
max_connections = 1000
binlog_fORMat = row
default_storage_engine = innodb
read_only=0

innodb_buffer_pool_size = 4096000000
innodb_log_file_size = 1024000000
innodb_log_files_in_group = 3
innodb_io_capacity = 4000
innodb_io_capacity_max = 8000

#开启GTID模式
gtid_mode = on
enforce_gtid_consistency = 1

#并行复制
binlog_transaction_dependency_tracking = WRITESET
transaction_write_set_extraction = XXHASH64

slave1

# vim /etc/my.cnf
[client]
port    = 3306
socket  = /mysql/data/mysql.sock

[mysqld]
port      = 3306
basedir   = /usr/local/mysql
datadir   = /mysql/data
socket    = /mysql/data/mysql.sock
pid_file  = /mysql/data/mysqld.pid
log_error = /mysql/log/mysqld.log
log_bin   = /mysql/log/mybinlog
server_id = 42
character_set_server = utf8mb4
collation_server = utf8mb4_general_ci
max_connections = 1000
binlog_format = row
default_storage_engine = innodb
read_only=1

innodb_buffer_pool_size = 4096000000
innodb_log_file_size = 1024000000
innodb_log_files_in_group = 3
innodb_io_capacity = 4000
innodb_io_capacity_max = 8000

#开启GTID模式
gtid_mode = on
enforce_gtid_consistency = 1

#并行复制
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 4

2.6 初始化实例

/usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf --initialize --user=mysql

2.7 启动实例

/usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf --user=mysql &

注：管理员用户的临时密码在 mysqld.log 中，第一次登陆后需要修改管理员用户的密码。

3、部署StoneDB

3.1 下载安装包

Https://stonedb.io/zh/docs/download/从官网下载 StoneDB 5.7 的安装包。

3.2 上传tar包并解压

# cd /
# tar -zxvf stonedb-ce-5.7-v1.0.0.el7.x86_64.tar.gz

用户可根据安装规范将安装包上传至服务器，解压出来的目录是 stonedb57，示例中的安装路径是 /stonedb57。

3.3 检查依赖文件

# cd /stonedb57/install/bin
# ldd mysqld
# ldd mysql

如果检查返回有关键字"not found"，说明缺少文件，需要安装对应的依赖包。例如：

libsnappy.so.1 => not found

在 ubuntu 上使用命令 "sudo apt search libsnappy" 检查，说明需要安装 libsnappy-dev。在 RedHat 或者 CentOS 上使用命令 "yum search all snappy" 检查，说明需要安装 snappy-devel、snappy。

3.4 创建目录

mkdir -p /stonedb57/install/data
mkdir -p /stonedb57/install/binlog
mkdir -p /stonedb57/install/log
mkdir -p /stonedb57/install/tmp
mkdir -p /stonedb57/install/redolog
mkdir -p /stonedb57/install/undolog
chown -R mysql:mysql /stonedb57

3.5 配置参数文件 my.cnf

# vim /stonedb57/install/my.cnf
[client]
port    = 3306
socket  = /stonedb57/install/tmp/mysql.sock

[mysqld]
port      = 3306
basedir   = /stonedb57/install/
datadir   = /stonedb57/install/data
socket    = /stonedb57/install/tmp/mysql.sock
pid_file  = /stonedb57/install/data/mysqld.pid
log_error = /stonedb57/install/log/mysqld.log
log_bin   = /stonedb57/install/binlog/binlog
server_id = 46
character_set_server = utf8mb4
collation_server = utf8mb4_general_ci
max_connections = 1000
binlog_format = row
default_storage_engine = tianmu
read_only=1

innodb_buffer_pool_size = 2048000000
innodb_log_file_size = 1024000000
innodb_log_files_in_group = 3
innodb_io_capacity = 4000
innodb_io_capacity_max = 8000
innodb_log_group_home_dir   = /stonedb57/install/redolog/
innodb_undo_directory       = /stonedb57/install/undolog/
innodb_undo_log_truncate    = 1
innodb_undo_tablespaces     = 3
innodb_undo_logs            = 128

#开启GTID模式
gtid_mode = on
enforce_gtid_consistency = 1

#并行复制
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 8

3.6 初始化实例

/stonedb57/install/bin/mysqld --defaults-file=/stonedb57/install/my.cnf --initialize --user=mysql

3.7 启动实例

/stonedb57/install/bin/mysqld_safe --defaults-file=/stonedb57/install/my.cnf --user=mysql &

注：管理员用户的临时密码在 mysqld.log 中，第一次登陆后需要修改管理员用户的密码。

4、配置主从

4.1 创建复制用户

create user 'repl'@'%' identified by 'mysql123';
grant replication slave on *.* to 'repl'@'%';

4.2 备份主库

/usr/local/mysql/bin/mysqldump -uroot -pmysql123 --single-transaction --set-gtid-purged=on -B aa > /tmp/aa.sql

4.3 传输备份文件

scp /tmp/aa.sql root@192.168.30.42:/tmp
scp /tmp/aa.sql root@192.168.30.43:/tmp

注：如果数据较大，建议使用 mydumper.

4.4 slave1节点

/usr/local/mysql/bin/mysql -uroot -pmysql123 -S /mysqldb/data/mysql.sock
source /tmp/aa.sql

注：恢复前需要确保 gtid_executed 为空。

4.5 slave2节点

在恢复前，需要修改存储引擎，注释锁表语句。

sed -i 's/UNLOCK TABLES/-- UNLOCK TABLES/g' /tmp/aa.sql
sed -i 's/LOCK TABLES `/-- LOCK TABLES `/g' /tmp/aa.sql
sed -i 's/ENGINE=InnoDB/ENGINE=tianmu/g' /tmp/aa.sql

/stonedb57/install/bin/mysql -uroot -pmysql123 -S /stonedb57/install/tmp/mysql.sock
source /tmp/aa.sql

注：恢复前需要确保 gtid_executed 为空。

4.6 建立主从复制

slave1节点

CHANGE MASTER TO
MASTER_HOST='192.168.30.40',
MASTER_PORT=3306,
MASTER_USER='repl',
MASTER_PASSWord='mysql123',
MASTER_AUTO_POSITION = 1;

start slave;
show slave status\G

slave2节点

CHANGE MASTER TO
MASTER_HOST='192.168.30.40',
MASTER_PORT=3306,
MASTER_USER='repl',
MASTER_PASSWORD='mysql123',
MASTER_AUTO_POSITION = 1;

start slave;
show slave status\G

5、配置Replication Manager

5.1 配置hosts文件

在所有节点都要配置

# vim /etc/hosts
192.168.30.40 HAMI01
192.168.30.41 HAMI02
192.168.30.42 HAMI03
192.168.30.46 HAST05

5.2 配置免密

在 Replication Manager 节点配置

ssh-keygen
ssh-copy-id HAMI01
ssh-copy-id HAMI03
ssh-copy-id HAST05

ssh HAMI01
ssh HAMI03
ssh HAST05

注：若 ssh 免密登录表示免密配置成功。

5.3 配置yum源

# vim /etc/yum.repos.d/signal18.repo
[signal18]
name=Signal18 repositories
baseurl=http://repo.signal18.io/centos/2.1/$releasever/$basearch/
gpGCheck=0
enabled=1

5.4 安装Replication Manager

# yum install -y replication-manager-osc
# rpm -qa|grep replication
replication-manager-osc-2.2.20-1.x86_64

5.5 主库创建监控用户

create user 'rep_monitor'@'%' identified by 'mysql123';
grant reload, process, super, replication slave, replication client, event ON *.* to 'rep_monitor'@'%';
grant select ON mysql.event to 'rep_monitor'@'%';
grant select ON mysql.user to 'rep_monitor'@'%';
grant select ON performance_schema.* to 'rep_monitor'@'%';

5.6 配置config.toml

# vim /etc/replication-manager/config.toml

# 集群名称
[StoneDB-HA]
# 主从节点
db-servers-hosts = "192.168.30.40:3306,192.168.30.42:3306,192.168.30.46:3306"
# 主节点
db-servers-prefered-master = "192.168.30.40:3306"
# 监控用户
db-servers-credential = "rep_monitor:mysql123"
db-servers-connect-timeout = 2
# 复制用户
replication-credential = "repl:mysql123"
# StoneDB不被用于切换
db-servers-ignored-hosts="192.168.30.46:3306"

##############
## FaiLOVER ##
##############
# 故障自动切换
failover-mode = "automatic"
# 30s内再次发生故障不切换，防止硬件问题或网络问题
failover-time-limit=30

[Default]
#########
## LOG ##
#########
log-file = "/var/log/replication-manager.log"
log-heartbeat = false
log-syslog = false
monitoring-datadir = "/var/lib/replication-manager"
log-level=1

replication-multi-master = false
replication-multi-tier-slave = false
failover-readonly-state = true
http-server = true
http-bind-address = "0.0.0.0"
http-port = "10001"

5.7 启动Replication Manager

# systemctl start replication-manager
# netstat -lntp|grep replication
tcp6       0      0 :::10001                :::*                    LISTEN      13128/replication-m 
tcp6       0      0 :::10005                :::*                    LISTEN      13128/replication-m

5.8 WEB登录

http://192.168.30.41:10001默认用户名密码为 admin/repman

6、建议项

1）建议设置为 GTID 模式；

2）建议主从配置成半同步模式；

3）StoneDB 不参与主从切换。

到此这篇关于StoneDB主从配置及切换实践方案的文章就介绍到这了,更多相关StoneDB主从配置内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！

--结束END--

本文标题: StoneDB主从配置及切换实践方案

本文链接: https://lsjlt.com/news/169203.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • StoneDB主从配置及切换实践方案
    目录1、操作系统环境检查1.1 关闭防火墙1.2 关闭SELINUX1.3 设置Swap分区1.4 修改操作系统的限制1.5 创建用户2、部署MySQL2.1 下载安装包2.2 卸载...
    99+
    2022-11-13
    StoneDB主从配置 StoneDB主从切换 StoneDB方案
  • redis sentinel 主从切换(failover)解决方案，详细配置
    主从复制简单来说就是把一台redis数据库中的数据同步到另一台redis数据库，并且按照数据流向，数据的发送者我们称作master，数据的接受者我们称作slave（master/slave的划分并不是那么一...
    99+
    2024-04-02
  • keepalived怎么配置redis主从切换
    本篇内容介绍了“keepalived怎么配置redis主从切换”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！IP规划：主节点：10.0.37...
    99+
    2023-06-05
  • postgresql 主备及切换-恢复方案
    前言 前期的gitlab 已经开始推广测试，最近对postgresql 做了主备，这里说下方案及在实施过程中遇到的坑。postgresql 的具安装不在此介绍。 基础信息 primary_ip： 1...
    99+
    2024-04-02
  • MySQL 配置主从复制实践分享
    目录一、检测通信二、master配置1. 开启二进制日志2. 创建一个用于主从库通信用的账号3. 获取binlog的日志文件名和position三、slave配置1. 配置全局唯一的server-id2. 使用maste...
    99+
    2022-07-14
    MySQL 配置主从复制 MySQL 主从复制
  • MySQL 配置主从复制实践分享
    目录一、检测通信二、master配置1. 开启二进制日志2. 创建一个用于主从库通信用的账号3. 获取binlog的日志文件名和position三、slave配置1. 配置全局唯一的...
    99+
    2024-04-02
  • MySQL实现配置主从复制项目实践
    目录一、检测通信二、master配置1. 开启二进制日志2. 创建一个用于主从库通信用的账号3. 获取binlog文件名和position三、slave配置1. 配置全局唯一的ser...
    99+
    2024-04-02
  • MySql主从同步配置及实现
    mysql主从复制 随着技术的发展，在实际的生产环境中，由单台MySQL数据库服务器不能满足实际的需求。此时数据库集群就很好的解决了这个问题了。采用MySQL分布式集群，能够搭建一个高并发、负载均衡的集群...
    99+
    2024-04-02
  • Redis主从集群切换数据丢失的解决方案
    一、数据丢失的情况 异步复制同步丢失 集群产生脑裂数据丢失 1.异步复制丢失 对于Redis主节点与从节点之间的数据复制，是异步复制的，当客户端发送写请求给master节点的时候，客...
    99+
    2024-04-02
  • mysql8.0主从复制搭建与配置方案
    目录mysql主从搭建安装数据库数据库配置设置数据库密码主库设置设置远程访问从数据库配置mysql主从搭建 环境：Ubuntu20.04.1，mysql：8.0.22。主：192.168.87.3备：192.168.87...
    99+
    2024-04-02
  • MySQL主从复制架构实践：主从不同步的解决方案
    前言 大家好，我是沐风晓月，本文收录于《MySQL入门到精通》专栏，希望对你有用； 之前在做MySQL主从架构的时候，遇到了形形色色的问题，比如： 主从配置好之后，双yes的情况下，居然不能同步；切换...
    99+
    2023-10-25
    架构 服务器 运维 云原生 linux
  • mysql中MHA配置及切换方式有哪些
    这篇文章主要介绍mysql中MHA配置及切换方式有哪些，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！master节点/MHA管理节点：172.31.217.183slave节点/MH...
    99+
    2024-04-02
  • MySql主从复制实现原理及配置
    数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个...
    99+
    2022-05-18
    MySql 主从复制
  • PHP实现Oracle主从复制自动切换的方法
    随着互联网技术的不断发展，对于Web应用程序的高可用性和负载均衡性的要求越来越高。其中，数据库是Web应用程序中的重要部分，也是其中最容易成为瓶颈的部分。为了解决数据库的高可用性问题，主从复制已经成为了一种比较常见的解决方案。而PHP是We...
    99+
    2023-05-15
    PHP Oracle主从复制 自动切换
  • PHP实现Redis主从复制自动切换的方法
    Redis是一款非常流行的键值对存储数据库，在现代Web应用中扮演着至关重要的角色。为了保证Redis的高可用性和稳定性，通常需要使用主从复制的技术。同时，由于主节点故障时需要自动切换到备用节点，使得复制集群具有自我修复的能力。下面介绍PH...
    99+
    2023-05-16
    PHP Redis 主从复制
  • SpringCloudConfig配置中心原理以及环境切换方式
    目录Config配置中心原理以及环境切换原理介绍一、Config Server 引入依赖二、Config client注意简易配置中心原理及流程说明原理简易搭建例子Config配置中...
    99+
    2024-04-02
  • keepalived配置虚拟ip（VRRP）实现双机热备以及自动切换主备
    需求 我有两个服务器，一台A是正常处理数据的，还有一台B是备用机器；A如果网络异常或者崩了，B开启采集技术 但是其他人访问的ip地址，如果从A变成B，地址改变了，会影响业务需求的；所以需要A与B共用一个Ip地址，A服务器崩了，B还在，不影...
    99+
    2023-10-06
    服务器
  • mysql双主同步配置实现方案
    下文给大家带来关于mysql双主同步配置实现方案，感兴趣的话就一起来看看这篇文章吧，相信看完mysql双主同步配置实现方案对大家多少有点帮助吧。 一.双主复制实现方案1.让表的ID自增，然后主1写...
    99+
    2024-04-02
  • PHP实现数据库主从复制故障切换的方法
    随着互联网的快速发展，数据库作为后台数据存储的重要组成部分，对于网站的高可用性和性能优化至关重要。其中，主从复制是一个常用的数据库高可用性解决方案，可以在不影响服务的情况下提高系统的稳定性和可用性。本文主要介绍如何使用PHP实现主从复制及故...
    99+
    2023-05-15
    PHP 数据库主从复制 故障切换
  • golang实践-第三方包为私有库的配置方案
    正常使用了go 1.8一段时间没有发现异常，为了发布便捷，以及后期引入plug-in，开始将大项目分解。涉及到通过vendor引入私有库保存的第三方包。 参考网上那些反复转帖的材料，...
    99+
    2024-04-02
软考高级职称资格查询
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作