返回顶部
首页 > 资讯 > 数据库 >工具 | 常用 PostgreSQL 预防数据丢失方案
  • 609
分享到

工具 | 常用 PostgreSQL 预防数据丢失方案

工具|常用PostgreSQL预防数据丢失方案 2018-04-07 08:04:41 609人浏览 猪猪侠
摘要

作者:张连壮 postgresql 研发负责人 从事多年 Postgresql 数据库内核开发,对 Citus 有非常深入的研究。 PostgreSQL 本身不具备数据闪回和数据误删除保护功能,但在不同场景下也有对应的解决方案。 本文

工具 | 常用 PostgreSQL 预防数据丢失方案

作者:张连壮 postgresql 研发负责人

从事多年 Postgresql 数据库内核开发,对 Citus 有非常深入的研究。

PostgreSQL 本身不具备数据闪回和数据误删除保护功能,但在不同场景下也有对应的解决方案。

本文由作者在 2021 PCC 大会的演讲主题《PostgreSQL 数据找回》整理而来,上一篇《盘点 | 常用 PG 数据恢复方案概览》介绍了 PostgreSQL 常见的 数据恢复方案。本篇将介绍 预防数据丢失方案的实现原理及使用示例。

预防数据丢失方案

前文提到数据丢失的主要操作为 DDL 和 DML 。

本篇主要介绍关于 DDL 和 DML 操作,如何预防数据丢失的方案。

DDL 操作

事件触发器

当事件以其定义的方式在数据库中相关的发生时,触发事件触发器。主要可预防以下四种 DDL 事件。

事件 说明
ddl_command_start DDL 执行前执行
ddl_command_end DDL 执行后执行, 通过 pg_event_trigger_ddl_commands() 可以获取操作的对象
sql_drop DDL 执行后执行, 通过 pg_event_trigger_dropped_objects() 可以获取所有被删除的对象
table_rewrite DDL 执行前执行, 例如 ALTER TABLE、ALTER TYPE 等

当表被删除后,可以通过 ddl_command_start 事件组织删除操作。

CREATE OR REPLACE FUNCTioN disable_drops()
    RETURNS event_trigger LANGUAGE plpgsql AS $$
BEGIN
     RaiSE EXCEPTION "drop table denied";
END
$$; -- 创建事件触发器函数
 
CREATE EVENT TRIGGER event_trigger_disable_drops
    ON ddl_command_start WHEN TAG in("drop table")
    EXECUTE PROCEDURE disable_drops(); -- 创建事件触发器,禁止drop table操作

事件触发器,无法修改 drop 的任何行为,因此只能拒绝,来确保数据不被删除,由其他拥有更高权限的数据库管理员删除。

test=# dy
                                        事件触发器列表
            名称             |       Event       | 拥有者  | 使能 |     函数      |    标签    
-----------------------------+-------------------+---------+------+---------------+------------
 event_trigger_disable_drops | ddl_command_start | lzzhang | 启用 | disable_drops | DROP TABLE
(1 行记录)
 
test=# drop table lzzhang;
ERROR:  drop table denied
CONTEXT:  PL/pgSQL function disable_drops() line 3 at RAISE

删除表的操作由拥有更高级权限的数据库管理员操作。

BEGIN;
ALTER EVENT TRIGGER event_trigger_disable_drops DISABLE;
DROP TABLE lzzhang;
ALTER EVENT TRIGGER event_trigger_disable_drops ENABLE;
COMMIT;

回收站

DDL 会将文件从操作系统中完全删除,因此唯一的办法是将删除改为换一个"位置",类似 windows 中回收站。

pgtanshscan[1] 便是一种回收站工具,并且只能通过插件采用 hook 的方式来实现。

if (nodeTag(parsetree) == T_DropStmt)
{
                if (stmt->removeType == OBJECT_TABLE)
{
AlterObjectSchemaStmt *newstmt = makeNode(AlterObjectSchemaStmt);
newstmt->newschema = pstrdup(trashcan_nspname);

通过其代码示例可以看出, DROP TABLE 操作被转换成了 ALTER 操作。

由于 pgtrashcan 代码陈旧,已经有 8 年未更新,不适配新版本 PG。且仅支持移动功能,并不支持彻底清除功能。由此,pgtrashcan 做了很多优化

  • 支持新版本 PG 14/13/12
  • 通过插件的 depend 功能,依赖 pg_cron
  • 自动设置 pg_cron 将其回收站中超过 1 天的数据清除

DML 操作

通过参数 vacuum_defer_cleanup_age 来调整 Dead 元组在数据库中的量,以便恢复误操作的数据。接下来将根据 流复制延迟恢复备份恢复两种设计方案来具体介绍:

流复制延迟恢复

PostgreSQL 流复制时可以通过 recovery_min_apply_delay 设置相应的延迟时间。例如设置 5 小时,备库可以延迟应用最近 5 小时的日志,提供最多 5 小时的数据恢复窗口,延迟的应用日志的同时并不影响日志的接受,源库的日志仍然是实时的被延迟恢复节点接受。

找回数据的具体操作步骤如下:

  1. 暂停延迟恢复 pg_wal_replay_pause()
  2. 通过 pg_dump 或 copy 操作将其需要的数据找出来;
  3. 通过 psql、copy、pg_restore 等操作将数据导入源库中;
  4. 继续延迟 pg_wal_replay_resume()

备份恢复

从备份模式的角度来说,备份主要包括以下两种:

  • 逻辑备份
    不能进行实时备份,因此不太适用于数据找回,会丢失很多数据。

  • 物理备份
    物理备份拥有与源集群完全一致的数据,因此可以持续使用源集群的 WAL 日志,达到数据找回的目标,原理上也是延迟恢复。

物理备份与 PITR 结合,可恢复数据到任意时间点。可选用工具有很多,如下几种是常用的恢复工具。

  • pg_basebackup[2]
  • pg_probackup[3]
  • pgbackrest[4]
  • barman[5]
  • pg_rman[6]

总结

  1. 注意权限划分。危险操作或是 DDL 等影响大的操作,一定要由第二个数据库管理员操作。
  2. 提前做好数据找回和数据安全的方案规划。
  3. 流复制延迟恢复,同样需要设置 recovery_target_xid 、recovery_target_time 或recovery_target_lsn 来精准的定位到完整的数据集。
  4. pg_waldump 是数据找回必备的一个功能。
  5. 如果方案是重型的,轻型的插件有时会是更好的选择。
  6. 若无任何准备,且不能安装任何插件,可第一时间将数据库关机!!!防止 Dead 元组被清理,拷贝整个集群,使用拷贝后的集群用 pg_resetwal 进行数据恢复。

参考引用

[1] :pgtrashcan:https://GitHub.com/petere/pgtrashcan

[2]:pg_basebackup:Https://www.postgresql.org/docs/10/app-pgbasebackup.html

[3]:pg_probackup:https://github.com/postgrespro/pg_probackup

[4]:pgbackrest:https://github.com/pgbackrest/pgbackrest

[5]:barman:https://github.com/EnterpriseDB/barman

[6]:pg_rman:https://github.com/ossc-db/pg_rman

您可能感兴趣的文档:

--结束END--

本文标题: 工具 | 常用 PostgreSQL 预防数据丢失方案

本文链接: https://lsjlt.com/news/9090.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 工具 | 常用 PostgreSQL 预防数据丢失方案
    作者:张连壮 PostgreSQL 研发负责人 从事多年 PostgreSQL 数据库内核开发,对 Citus 有非常深入的研究。 PostgreSQL 本身不具备数据闪回和数据误删除保护功能,但在不同场景下也有对应的解决方案。 本文...
    99+
    2018-04-07
    工具 | 常用 PostgreSQL 预防数据丢失方案
  • 常用 PostgreSQL 预防数据丢失解决方案
    目录预防数据丢失方案DDL 操作事件触发器回收站DML 操作流复制延迟恢复备份恢复总结作者:张连壮 PostgreSQL 研发负责人 从事多年 PostgreSQL 数据库内核开发,...
    99+
    2024-04-02
  • 云VPS如何预防数据丢失
    云VPS预防数据丢失的方法:1、需要做好云VPS安全维护方面的工作,降低云VPS被攻击的风险;2、在使用云VPS过程中,不要访问不良网站和下载不明链接,降低云VPS中毒的风险;3、定期对云VPS数据做好数据备份操作,避免云VPS数据丢失无法...
    99+
    2024-04-02
  • 服务器如何预防数据丢失
    服务器预防数据丢失的方法:1、采用Raid磁盘阵列存储,加强服务器硬盘的容错功能;2、注意服务器硬盘的运行状况,检查硬盘设备是否正常;3、备份重要的数据,选用磁带机配合专业备份软件,定期做相对完善的备份方案;4、如果数据误删除或格式化,在网...
    99+
    2024-04-02
  • 服务器怎么预防数据丢失
    服务器预防数据丢失的方法有很多种,下面列举几种常见的方法: 定期备份数据:定期将服务器上的重要数据进行备份,可以使用外部存储设备或...
    99+
    2024-05-10
    服务器
  • 厦门服务器怎么预防数据丢失
    厦门服务器预防数据丢失的方法:1、采用Raid磁盘阵列存储,加强服务器硬盘的容错功能;2、注意硬盘的运行状况,检查硬盘设备是否正常;3、备份重要的数据,选用磁带机配合专业备份软件,定期做相对完善的备份方案;4、如果数据误删除或格式化,在网上...
    99+
    2024-04-02
  • 香港服务器如何有效预防网站数据丢失
    香港服务器有效预防网站数据丢失的方法:1、在租用香港服务器时,需选择带有raid阵列的香港服务器,从而有效防止网站的数据丢失;2、需要养成正确操作香港服务器的习惯,避免出现人为操作失误导致数据丢失;3、需要给香港服务器做好专业的安全措施,防...
    99+
    2024-04-02
  • 购买幻兽帕鲁服务器怎么预防数据丢失
    要预防幻兽帕鲁服务器数据丢失,可以采取以下措施: 定期备份数据:定期备份服务器中的数据,确保在数据丢失时可以恢复至最近的备份点。备...
    99+
    2024-04-09
    服务器 幻兽帕鲁服务器
  • Kafka保证零数据丢失的配置方案
    本篇内容介绍了“Kafka保证零数据丢失的配置方案”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!如果要想保证Kafka数据不丢, 要从Kaf...
    99+
    2023-06-02
  • 常用 PostgreSQL 数据恢复方案及使用示例
    作者:张连壮 PostgreSQL 研发负责人 从事多年 PostgreSQL 数据库内核开发,对 Citus 有非常深入的研究。 PostgreSQL 本身不具备数据闪回和数据误删...
    99+
    2024-04-02
  • 服务器租用怎么防止数据丢失
    服务器租用防止数据丢失的方法:1、定期做好数据备份,可采用专门的备份硬盘进行备份;2、采用raid磁盘阵列存储系统进行相应的存储工作,加强服务器的磁盘容错功能;3、在自身不了解的情况下,不要私自使用和进行服务器操作;4、不要盲目的操作服务器...
    99+
    2024-04-02
  • 服务器租用如何防止数据丢失
    服务器租用防止数据丢失的方法:1、需要定期给服务器进行数据备份操作,防止数据丢失无法恢复;2、给服务器配置raid磁盘阵列提高服务器磁盘容错功能,从而有效降低服务器数据丢失风险;3、在管理服务器时,需要减少错误操作导致数据丢失的情况发生;4...
    99+
    2024-04-02
  • 预防数据丢失:操作系统备份策略的最佳实践
    数据是企业最重要的资产之一,一旦丢失或损坏,可能导致严重的后果。因此,企业需要制定完善的操作系统备份策略,以确保能够从任何丢失或损坏的数据中恢复。 评估风险 在制定备份策略之前,企业需要评估数据丢失或损坏的风险。这包括确定哪些数据最为重...
    99+
    2024-02-03
    操作系统备份 数据丢失 备份策略 数据恢复 数据安全
  • postgresql数据库导出和导入及常用的数据库管理工具
    目录简介一、数据库的导出和导入1. 使用pgAdmin导出和导入数据库2. 使用Navicate导出和导入数据库3. 使用DBeaver导出和导入数据库二、数据库表的导出和导入1. 使用pgAdmin导出和导入数据表2....
    99+
    2023-04-19
    postgresql 导出导入 postgresql数据库导出导入
  • redis的消息队列防止数据丢失的方法
    序言:redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set ...
    99+
    2024-04-02
  • 如何防止租用服务器的数据丢失
    防止租用服务器数据丢失的方法:1、用raid磁盘阵列存储系统进行相应的存储工作,能第一时间恢复服务器数据;2、定期备份服务器数据,能有效降低数据的丢失;3、减少非必要错误的操作,以免发生数据丢失的现象;4、数据丢失后,不要进行盲目的操作,联...
    99+
    2024-04-02
  • 怎么防止租用服务器的数据丢失
    要防止租用服务器的数据丢失,可以采取以下措施: 定期备份数据:定期备份服务器上的重要数据至其他存储介质,如外部硬盘、云存储等。备份...
    99+
    2024-04-22
    服务器
  • 阿里云服务器整机数据丢失的原因及预防措施
    阿里云服务器是阿里巴巴集团提供的云服务,用于存储和处理数据。然而,整机数据丢失是一种严重的问题,可能会导致业务中断,数据丢失甚至造成经济损失。本文将详细说明阿里云服务器整机数据丢失的原因,以及预防措施。 一、阿里云服务器整机数据丢失的原因硬...
    99+
    2023-11-12
    预防措施 阿里 整机
  • Win10使用存储空间保存数据以防止数据丢失
    我们的电脑上有时候会存放一些重要的数据,但是一旦发生磁盘损坏,就会造成数据的丢失。Win10系统中准备了一个存储空间的功能,可以帮助用户保存数据,防止数据丢失。   这个功能,可以使用多块磁盘或移动硬盘组成联合储存模式,...
    99+
    2023-06-17
    Win10 存储空间 保存数据 保存 数据 空间 存储
  • 怎样防止租用服务器数据丢失问题
    防止租用服务器数据丢失问题的方法:1、给服务器采用raid磁盘阵列来进行相应的存储工作,从而提高数据传输容错率;2、需要定期做好数据备份,防止数据丢失无法恢复;3、需要注意减少非必要错误的操作,避免因人为操作失误导致数据丢失无法恢复;4、当...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作