返回顶部
首页 > 资讯 > 数据库 >MySQL Group Replication的安装部署
  • 647
分享到

MySQL Group Replication的安装部署

MySQLGroupReplication 2023-01-31 08:01:20 647人浏览 独家记忆
摘要

这次给大家介绍下Mysql官方最新版本5.7.17中GA的新功能 Group Replication 。 Group Replication是一种可用于实现容错系统的技术。复制组是一组通过消息传递相互交互的服务

这次给大家介绍下Mysql官方最新版本5.7.17中GA的新功能 Group Replication 。

 

Group Replication是一种可用于实现容错系统的技术。复制组是一组通过消息传递相互交互的服务器。通信层提供一组保证,例如原子消息和总订单消息传递。这些是非常强大的属性,可以转化为非常有用的抽象,人们可以诉诸构建更高级的数据库复制解决方案。mysql组复制构建在这些属性和抽象之上,并实现多主复制协议的更新。实质上,复制组由多个服务器形成,并且组中的每个服务器可以独立地执行事务。但是所有读写(RW)事务只有在组被批准后才会提交。只读(RO)事务不需要在组内协调,因此立即提交。换句话说,对于任何RW事务,组需要决定是否提交,因此提交操作不是来自始发服务器的单向决定。准确地说,当事务准备好在始发服务器上提交时,服务器原子地广播写入值(已改变的行)和对应的写入集(已更新的行的唯一标识符)。然后为该交易建立全局总订单。最终,这意味着所有服务器以相同的顺序接收同一组事务。因此,所有服务器以相同的顺序应用相同的一组更改,因此它们在组内保持一致。
但是,在不同服务器上并发执行的事务之间可能存在冲突。通过在称为认证的过程中检查两个不同的并发事务的写集合来检测这样的冲突。如果在不同的服务器上执行的两个并发事务更新同一行,则会出现冲突。解析过程指出,首先订购的事务在所有服务器上提交,而顺序第二次中止的事务将在源服务器上回滚,并由组中的其他服务器删除。这实际上是一个分布式的第一个提交赢的规则。

 

Mysql组复制协议

1.png

 

 

最后,组复制是一种无共享复制方案,其中每个服务器都有自己的整个数据副本。
上图描述了MySQL组复制协议,并通过将其与MySQL复制(或甚至MySQL半同步复制)进行比较,您可以看到一些差异。注意,为了清楚起见,这个图片中缺少一些基本的共识和Paxos相关消息。

 

介绍就到这,本文中我将一步一步的安装部署group_replication的三个节点,并让你看到它的功能和特性,如果看完全文,你十分的感兴趣的话,可以去mysql的Group Replication主页去查看更详细的信息。

 

1. 环境介绍

basedir = /usr/local/mysql
(PS: 这点还是要吐槽一下的,mysql官方basedir如果不在这个目录的话,mysql.server也不好使,这个实验也不成功,我们还是勉强先放在这)

端口号数据及日志目录 Group_Replication通讯端口
3306/data/mysql/mysql_3306/{data,logs,tmp}33061
3307/data/mysql/mysql_3307/{data,logs,tmp}33062
3308/data/mysql/mysql_3308/{data,logs,tmp}33063

 

 

 

 

 

2. 初始化

①、下载and解压缩,并把mysql放到指定地方(标准目录: /usr/local/mysql)

cd /opt/
wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz
mv mysql-5.7.26-linux-glibc2.12-x86_64 /usr/local/mysql

 

②、 创建数据库需要的数据、日志和临时目录并赋权:

mkdir -p /data/mysql/{mysql_3306,mysql_3307,mysql_3308}/{data,logs,tmp}
chown -R mysql.mysql /data/mysql/

3. 初始化

安装机器: 192.168.0.162 (单机多实例安装)
配置文件说明:

端口号配置文件
3306/data/mysql/mysql_3306/my3306.cnf
3307/data/mysql/mysql_3306/my3307.cnf
3308/data/mysql/mysql_3306/my3308.cnf

 

 

 

 

 

 

3306端口配置文件详情:

 

my3306.cnf

[client]
port            = 3306
Socket          = /tmp/mysql3306.sock
[mysql]
prompt                         = mysql [\d]>
default_character_set          = utf8
no-auto-rehash
[mysqld]
#misc
user = mysql
basedir = /usr/local/mysql
datadir = /data/mysql/mysql_3306/data
port = 3306
socket = /tmp/mysql3306.sock
event_scheduler = 0
tmpdir=/data/mysql/mysql_3306/tmp
#timeout
interactive_timeout = 43200
wait_timeout = 43200
#character set
character-set-server = utf8
open_files_limit = 65535
max_connections = 100
max_connect_errors = 100000
#
explicit_defaults_for_timestamp
#logs
log-output=file
slow_query_log = 1
slow_query_log_file = slow.log
log-error = error.log
log_error_verbosity=3
pid-file = mysql.pid
long_query_time = 1
#log-slow-admin-statements = 1
#log-queries-not-using-indexes = 1
log-slow-slave-statements = 1
#binlog
binlog_fORMat = row
server-id = 1343306
log-bin = /data/mysql/mysql_3306/logs/mysql-bin
binlog_cache_size = 1M
max_binlog_size = 200M
max_binlog_cache_size = 2G
sync_binlog = 0
expire_logs_days = 10
 
#group replication
server_id=1013306
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON
binlog_format=ROW
transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="13855fca-d2ab-11e6-8f37-005056b8286c"
loose-group_replication_start_on_boot=off
loose-group_replication_local_address= "192.168.0.162:33061"
loose-group_replication_group_seeds= "192.168.0.162:33061,192.168.0.162:33071,192.168.0.162:33081"
loose-group_replication_bootstrap_group= off
loose-group_replication_single_primary_mode=off
loose-group_replication_enforce_update_everywhere_checks=on
#relay log
skip_slave_start = 1
max_relay_log_size = 500M
relay_log_purge = 1
relay_log_recovery = 1
#slave-skip-errors=1032,1053,1062
#buffers & cache
table_open_cache = 2048
table_definition_cache = 2048
table_open_cache = 2048
max_heap_table_size = 96M
sort_buffer_size = 2M
join_buffer_size = 2M
thread_cache_size = 256
query_cache_size = 0
query_cache_type = 0
query_cache_limit = 256K
query_cache_min_res_unit = 512
thread_stack = 192K
tmp_table_size = 96M
key_buffer_size = 8M
read_buffer_size = 2M
read_rnd_buffer_size = 16M
bulk_insert_buffer_size = 32M
#myisam
myisam_sort_buffer_size = 128M
myisam_max_sort_file_size = 10G
myisam_repair_threads = 1
#innodb
innodb_buffer_pool_size = 500M
innodb_buffer_pool_instances = 1
innodb_data_file_path = ibdata1:100M:autoextend
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_log_file_size = 256M
innodb_log_files_in_group = 3
innodb_max_dirty_pages_pct = 90
innodb_file_per_table = 1
innodb_rollback_on_timeout
innodb_status_file = 1
innodb_io_capacity = 2000
transaction_isolation = READ-COMMITTED
innodb_flush_method = O_DIRECT

 

3307和3308端口的配置文件我不贴的,替换下端口即可。
其中比较重要的地方,也是安装Group_replication必须要有的配置项,需要注意一下:

#group replication
server_id=1013306
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON
binlog_format=ROW
 
transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="13855fca-d2ab-11e6-8f37-005056b8286c"
loose-group_replication_start_on_boot=off
loose-group_replication_local_address= "192.168.0.162:33061"
loose-group_replication_group_seeds= "192.168.0.162:33061,192.168.0.162:33071,192.168.0.162:33081"
loose-group_replication_bootstrap_group= off
 
loose-group_replication_single_primary_mode=off
loose-group_replication_enforce_update_everywhere_checks=on

 

在这里有一些技术细节要说明一下:

上面的三个配置文件省略了所有不必要的配置项、但是看起来还是有点多、这些都是mgr环境要求的。

server_id 每个实例都要不要样

loose-group_replication_group_name:为mgr高可用组起一个名字,必须是有效的UUID。在二进制日志中为组复制事件设置GTID时,将在内部使用此UUID。使用SELECT UUID()生成一个UUID。

loose-group_replication_local_address:mgr各实例之前都是要进行通信的、这个配置项设置的就是本实例所监听的ip:端口

loose-group_replication_group_seeds:各mgr实例所监听的ip:端口信息

 

其他配置参数,请参考官方文档:

Https://dev.mysql.com/doc/refman/5.7/en/group-replication-configuring-instances.html

 

4. 启动Group_replication第一个节点

初始化3306实例:

/usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql_3306/my3306.cnf --initialize-insecure

 

启动3306实例:

/usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql_3306/my3306.cnf &

 

进入mysql进行change操作:

复制代码

/usr/local/mysql/bin/mysql -u root -S /tmp/mysql3306.sockmysql> SET SQL_LOG_BIN=0;
mysql> CREATE USER rpl_user@'%';
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%' IDENTIFIED BY 'rpl_pass';
mysql> SET SQL_LOG_BIN=1;
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWord='rpl_pass' FOR CHANNEL 'group_replication_recovery';

复制代码

 

加载 group_replication的plugin:

复制代码

mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql> SHOW PLUGINS;
+----------------------------+----------+--------------------+----------------------+---------+
| Name                       | Status   | Type               | Library              | License |
+----------------------------+----------+--------------------+----------------------+---------+
| binlog                     | ACTIVE   | STORAGE ENGINE     | NULL                 | GPL     |
| mysql_native_password      | ACTIVE   | AUTHENTICATION     | NULL                 | GPL     |
|... ... ...                                                                                  |
| group_replication          | ACTIVE   | GROUP REPLICATION  | group_replication.so | GPL     |
+----------------------------+----------+--------------------+----------------------+---------+

复制代码

 

启动第一个节点的Group_replication:

mysql> SET GLOBAL group_replication_bootstrap_group=ON;     #只在第一个节点使用
mysql> START GROUP_REPLICATION;

 

确认节点加入情况:

复制代码

mysql> SELECT * FROM performance_schema.replication_group_members;
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+
| CHANNEL_NAME              | MEMBER_ID                            | MEMBER_HOST           | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+
| group_replication_applier | 68ce93ca-d292-11e6-bdf9-005056b8286c | localhost.localdomain |        3306 | ONLINE       |
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+1 rows in set (0.00 sec)

复制代码

 

创建测试数据:

mysql> create database boom;
mysql> use boom;
mysql> create table boomballa(id int not null,name varchar(32),primary key(id));
mysql> insert into boomballa(id,name) values(1,'boomballa.top');
mysql> insert into boomballa(id,name) values(2,'myblog');

 

查看端口是否启动

root@ubuntu:/data/mysql/mysql_3306# netstat -anpt | grep 33061
tcp        0      0 0.0.0.0:33061           0.0.0.0:*               LISTEN      1897/mysqld

 

5. 启动Group_replication第二个节点

复制配置文件:

# 复制配置文件
cd /data/mysql/mysql_3307/
cp ../mysql_3306/my3306.cnf my3307.cnf
 
# 编辑配置文件
vim my3307.cnf
 
#将替换3306为3307


特别注意以下2行:

loose-group_replication_local_address= "192.168.0.162:33071"
loose-group_replication_group_seeds= "192.168.0.162:33061,192.168.0.162:33071,192.168.0.162:33081"

注意:loose-group_replication_local_address配置参数,必须要在loose-group_replication_group_seeds里面!

否则会出现3092错误

 

初始化并启动实例:

/usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql_3307/my3307.cnf --initialize-insecure
/usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql_3307/my3307.cnf &

安装插件并启动Group_replication:

复制代码

mysql> SET SQL_LOG_BIN=0;
mysql> CREATE USER rpl_user@'%';
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%' IDENTIFIED BY 'rpl_pass';
mysql> SET SQL_LOG_BIN=1;
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='rpl_pass' FOR CHANNEL 'group_replication_recovery';
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql> START GROUP_REPLICATION;
mysql> SELECT * FROM performance_schema.replication_group_members;
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+
| CHANNEL_NAME              | MEMBER_ID                            | MEMBER_HOST           | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+
| group_replication_applier | 5aaa8529-d296-11e6-a7be-005056b8286c | localhost.localdomain |        3307 | ONLINE       |
| group_replication_applier | 68ce93ca-d292-11e6-bdf9-005056b8286c | localhost.localdomain |        3306 | ONLINE       |
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+2 rows in set (0.00 sec)

复制代码

 

查看端口是否启动

root@ubuntu:/data/mysql/mysql_3306# netstat -anpt | grep 33061
tcp        0      0 0.0.0.0:33071           0.0.0.0:*               LISTEN      1950/mysqld

 

6. 第三节点安装配置

这里省略了,参考第二个节点。注意:替换端口为3308

安装好了以后的状态应该是(三节点上查询结果都是如此):

复制代码

mysql> SELECT * FROM performance_schema.replication_group_members;
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+
| CHANNEL_NAME              | MEMBER_ID                            | MEMBER_HOST           | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+
| group_replication_applier | 5aaa8529-d296-11e6-a7be-005056b8286c | localhost.localdomain |        3307 | ONLINE       |
| group_replication_applier | 68ce93ca-d292-11e6-bdf9-005056b8286c | localhost.localdomain |        3306 | ONLINE       |
| group_replication_applier | af93afd1-d297-11e6-b8e9-005056b8286c | localhost.localdomain |        3308 | ONLINE       |
+---------------------------+--------------------------------------+-----------------------+-------------+--------------+3 rows in set (0.00 sec)
 
mysql> use boom
Database changed
mysql> select * from boomballa;
+----+---------------+
| id | name          |
+----+---------------+
|  1 | boomballa.top |
|  2 | myblog        |
+----+---------------+
2 rows in set (0.00 sec)

复制代码

 

确认一下:

[root@localhost ~]# echo "select * from boom.boomballa;"|/usr/local/mysql/bin/mysql -S /tmp/mysql3306.sock
id      name
      boomballa.top
      myblog
[root@localhost ~]# echo "select * from boom.boomballa;"|/usr/local/mysql/bin/mysql -S /tmp/mysql3307.sock
id      name
      boomballa.top
      myblog
[root@localhost ~]# echo "select * from boom.boomballa;"|/usr/local/mysql/bin/mysql -S /tmp/mysql3308.sock
id      name
      boomballa.top
      myblog

 

查看mysql进程

复制代码

root@ubuntu:/data/mysql/mysql_3306# ps -aux | grep mysqlmysql     1897  0.1  6.3 1718160 255244 pts/0  Sl   16:06   0:08 /usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql_3306/my3306.cnf
mysql     1950  0.1  6.2 1705688 252724 pts/0  Sl   16:07   0:08 /usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql_3307/my3307.cnf
mysql     2147  0.2  6.2 1709152 251420 pts/1  Sl   16:25   0:09 /usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql_3308/my3308.cnf
root      2228  0.0  0.0  14224   928 pts/1    S+   17:35   0:00 grep --color=auto mysql

复制代码

 

设置第一个mysql实例密码,设置密码为root

/usr/local/mysql/bin/mysqladmin -u root -S /tmp/mysql3306.sock -p password root

 

授权root用户远程连接

/usr/local/mysql/bin/mysql -u root -S /tmp/mysql3306.sock -prootmysql> grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
mysql> flush privileges;

 

使用Navicat 客户端查看数据

 

 

测试其他端口,比如:3307和3308,也应该是可以查看表数据!

 

在3306修改表数据,在3307查看数据,会立即同步的

 

 

 关闭其中一个节点

关闭3308的进程

kill 2147

 

 

再次查看3306和3307表数据,是ok的。

在3306修改表数据,3307也是会同步的

 

启动3308实例

/usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql_3308/my3308.cnf &

 

查看3308数据,发现数据没有更新过来

 

 

进入到3308,开启GROUP_REPLICATION

/usr/local/mysql/bin/mysql -u root -S /tmp/mysql3308.sock -prootmysql> START GROUP_REPLICATION;

 

再次刷新数据,发现数据同步过来了

 

 

大功告成!

 

本文参考链接:

https://www.jianshu.com/p/dc64fee1c792


您可能感兴趣的文档:

--结束END--

本文标题: MySQL Group Replication的安装部署

本文链接: https://lsjlt.com/news/193569.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • MySQL Group Replication的安装部署
    这次给大家介绍下MySQL官方最新版本5.7.17中GA的新功能 Group Replication 。 Group Replication是一种可用于实现容错系统的技术。复制组是一组通过消息传递相互交互的服务...
    99+
    2023-01-31
    MySQL Group Replication
  • 怎么部署MySQL Group Replication
    这篇文章主要介绍“怎么部署MySQL Group Replication”,在日常操作中,相信很多人在怎么部署MySQL Group Replication问题上存在疑惑,小编查阅了各式资料,整理出简单好用...
    99+
    2024-04-02
  • MySQL Group Replication mgr 安装关键过程
    1、初始化和启动 mysql/bin/mysqld --initialize-insecure --basedir=/mgr/mysql --datadir=/mgr/data/s1 mysql/bin/m...
    99+
    2024-04-02
  • MYSQL Group Replication的搭建过程
    这篇文章主要介绍“MYSQL Group Replication的搭建过程”,在日常操作中,相信很多人在MYSQL Group Replication的搭建过程问题上存在疑惑,小编查阅了各式资料,整理出简单...
    99+
    2024-04-02
  • MySQL Router的安装部署
    01 MySQL Router介绍     前面的文章中,我们说了ReplicaSet的基本概念MySQL Shell工具以及如何使用MySQL Shell搭建Innodb Replicaset。...
    99+
    2022-05-16
    MySQL Router安装 MySQL Router部署
  • 安装部署MySQL HA
    1.部署MHA接下来部署MHA,具体的搭建环境如下(所有操作系统均为CentOS7.4 64bit):IP地址主机名角色软件192.168.12.106Master.cnmanagermha4mysql-manager、mha4mysql-...
    99+
    2014-06-28
    安装部署MySQL HA 数据库入门 数据库基础教程 数据库 mysql
  • MySQL安装部署(四种安装方法)
    目录 1.仓库安装  2.本地安装 3.容器安装  4.源码安装 MySQL数据库存在多种版本,不同的版本在不同的平台上(OS,也就是操作系统上)安装方式可 能有所不同,因此安装时一定要参照官方文档进行安装。MySQL :: MySQL ...
    99+
    2023-09-26
    mysql 数据库
  • MySQL in CentOS 7 安装部署
    1. 下载上传安装包到服务器 下载链接: https://pan.baidu.com/s/1YNaEq9E8lugXC8ebKyegwA 提取码:ienf 2. 解压及创建目录 解压 tar xzvf mysql-5.7.1...
    99+
    2018-02-25
    MySQL in CentOS 7 安装部署
  • MySQL 5.7安装部署总结
    之前搭建MySQL环境都是使用公司内部使用的脚本,其实说实话屏蔽了很多细节,对MySQL的安装还是了解比较肤浅,今天有个MySQL 5.7的数据迁移的任务,也是为了熟悉安装过程就走了一遍安装的流程,整...
    99+
    2024-04-02
  • MySQL Cluster7.2.4怎么安装部署
    本篇内容主要讲解“MySQL Cluster7.2.4怎么安装部署”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“MySQL Cluster7.2.4怎么安装部署...
    99+
    2024-04-02
  • mysql group replication搭建的步骤是什么
    在MySQL Group Replication搭建的步骤如下: 安装MySQL Group Replication插件:首先需要...
    99+
    2024-04-09
    mysql
  • MySQL所有的安装部署方式
    介绍MySQL所有的安装部署方式 目录一.前言二.关于MySQL的安装三.部署规划3.1 服务器规划3.2 数据库目录规划四.准备工具五.通用二进制包安装MySQL5.1 上传MySQL通用二进制安装包...
    99+
    2017-01-11
    MySQL所有的安装部署方式
  • MHA的安装部署
    本篇内容主要讲解“MHA的安装部署”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“MHA的安装部署”吧! MHA 0.56 is n...
    99+
    2024-04-02
  • Python的安装部署
    为了更好的学习,我们在Windows和Linux上都安装Python 2.7和Python 3.5https://www.python.org/downloads/为了避免冲突,把Python3.5解压后的python.exe改为pytho...
    99+
    2023-01-31
    Python
  • MySQL-5.6.38 安装部署及介绍
    第1章 MySQL简介及部署1.1 介绍1.1.1 什么是数据数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符...
    99+
    2024-04-02
  • Linux下安装部署Mysql教程
    下面讲讲关于Linux下安装部署Mysql教程,文字的奥妙在于贴近主题相关。所以,闲话就不谈了,我们直接看下文吧,相信看完Linux下安装部署Mysql教程这篇文章你一定会有所受益。1:获取mysql YU...
    99+
    2024-04-02
  • mysql 5.7数据库安装部署
    一、安装依赖环境: yum -y install libaio libaio-devel libtool make automake autoconf numactl numactl-devel bz...
    99+
    2024-04-02
  • MySQL怎么进行安装部署
    这篇文章将为大家详细讲解有关MySQL怎么进行安装部署,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。MySQL安装部署1.二进制安装1.清除残留软件rpm -q...
    99+
    2024-04-02
  • 如何动态创建MySQL Group Replication的节点
    这篇文章主要为大家展示了“如何动态创建MySQL Group Replication的节点”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“如何动态创建MySQL ...
    99+
    2024-04-02
  • sqlserver2014部署安装
    百度云网址链接: https://pan.baidu.com/s/1BwgdnESI8Fqlos9EIOLv1A 提取码: wsy5 解压ISO镜像文件,点击setup安装程序       进入安装界面       点击全新SQ...
    99+
    2014-07-23
    sqlserver2014部署安装
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作