返回顶部
首页 > 资讯 > 数据库 >导入大量数据,比如300G数据,导出500G数据需要考虑的问题
  • 153
分享到

导入大量数据,比如300G数据,导出500G数据需要考虑的问题

2024-04-02 19:04:59 153人浏览 独家记忆
摘要

1.假设导入到99%,你花了8个小时,但是最后,你设置表空间数据不够,导入报错,怎么办? 这次导入会不会报错?会不会回滚? 空间不够,是致命错误。会回滚。但是有个参数,resumable,resumable

1.假设导入到99%,你花了8个小时,但是最后,你设置表空间数据不够,导入报错,怎么办?
这次导入会不会报错?会不会回滚?
空间不够,是致命错误。会回滚。但是有个参数,resumable,resumable=y resumable_timeout=28800允许我们挂起,等待一段时间。


2.导入大量数据,花的时间很长。我们要知道,进度是怎么样了?是否挂起?是否仍在导入?
第一,设置响应参数feedback=10000000,第二,看插入日志
第三,看资源管理器中相关进程cpu,硬盘是否在使用 ,第四 看写入文件是否有变化
第五,最好的方式是看会话v$session中有个sql_id,这个字段就是记录了当前会话正在进行执行什么sql语句。
3.怎么样导入更快?
设置表nologging.直接路径导入。暂时不导入索引
insert into card_trade_detail

4.切割大文件的操作。大文件比如300G,你会遇到这样一些问题,比如,你拷贝一个300G文件从硬盘到移动硬盘,刚开始很快,600M/s,到后面变成30M/s,头疼吧。这样我们导出的时候需要进行文件切割。把大文件切割成小分件,比如切割成5G拷贝,也很慢。




5.以下是一些经验数据
(1)486万 225秒,每个segment 840M  451万:49秒  497万:53  一年的数据文件434G
当前数据量是1.1亿,创建索引为:
create index idx_ctd_card_inner_no_gl on CARD_TRADE_DETAIL(card_inner_no) global tablespace cardidx01;
花去时间为:369秒,索引大小是4G .
(2)1.1亿数据索引 uk_ctd_gl_1 7个字段建立唯一索引,花去时间为253秒,索引大小为6.8G
(3)18亿数据索引 uk_ctd_gl_1 7个字段建立主键索引,索引大小为144G;
(4)导入300G数据,在dellr730机器上上插入花时8个小时。
在dellr730机器,18亿数据索引 uk_ctd_gl_1 7个字段建立主键索引,索引大小为112G,建立52分钟。
(5)最后我说下其中比较坑爹的一次部署:把18亿500G数据导出来,花时40分钟。把225G数据导出到优盘,时间是5小时。从优盘拷贝到客户电脑中转机1小时。从中转机拷贝到aix系统,6小时。导入数据时间是5小时。
您可能感兴趣的文档:

--结束END--

本文标题: 导入大量数据,比如300G数据,导出500G数据需要考虑的问题

本文链接: https://lsjlt.com/news/46383.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 导入大量数据,比如300G数据,导出500G数据需要考虑的问题
    1.假设导入到99%,你花了8个小时,但是最后,你设置表空间数据不够,导入报错,怎么办? 这次导入会不会报错?会不会回滚? 空间不够,是致命错误。会回滚。但是有个参数,resumable,resumable...
    99+
    2024-04-02
  • 数据库中imp导入需要考虑的问题有哪些
    这篇文章主要介绍“数据库中imp导入需要考虑的问题有哪些”,在日常操作中,相信很多人在数据库中imp导入需要考虑的问题有哪些问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”数据...
    99+
    2024-04-02
  • Oracle中NVARCHAR2数据导出导入要考虑什么
    在Oracle中,NVARCHAR2数据类型是一种可变长度的Unicode字符数据类型。当导出和导入NVARCHAR2数据时,需要考...
    99+
    2024-04-02
  • imp如何导入300G数据
    这篇文章给大家分享的是有关imp如何导入300G数据的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。 连接到: Oracle Database 11g ...
    99+
    2024-04-02
  • MySQL怎么导入导出大量数据
    本篇内容介绍了“MySQL怎么导入导出大量数据”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!  大家一定使...
    99+
    2024-04-02
  • Excel数据导入Mysql常见问题汇总:如何解决导入大量数据时内存溢出的问题?
    Excel数据导入Mysql常见问题汇总:如何解决导入大量数据时内存溢出的问题?导入Excel数据到Mysql数据库是一个常见而重要的任务,在处理大量数据时,有时会遇到内存溢出的问题。本文将介绍一些解决这一问题的方法。拆分数据:如果Exce...
    99+
    2023-10-22
    Excel MySQL 内存溢出 解决问题 导入
  • MySQL数据库中怎么快速导出导入大量数据
    这篇文章将为大家详细讲解有关MySQL数据库中怎么快速导出导入大量数据,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。MySQL迁移通常使用的有三种方法:1、...
    99+
    2024-04-02
  • PHP大数据xlswriter导入导出(最优数据化)
    本文介绍基于PHP扩展xlswriter的Vtiful\Kernel\Excel类可以支持无限层级的复杂表头导出!后续也可能会持续更新优化一、准备xlswriter扩展1、windows系统:到PECL网站下载符合自己本地PHP环境的ddl...
    99+
    2022-05-31
    php laravel centos Excel
  • ORACLE 数据泵如何导入导出数据
    这篇文章给大家分享的是有关ORACLE 数据泵如何导入导出数据的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一、摘要在平常备库和数据库迁移的时候,当遇到大的数据库的时候在用exp...
    99+
    2024-04-02
  • 大文本数据怎么导入导出到数据库
    这篇文章主要介绍“大文本数据怎么导入导出到数据库”,在日常操作中,相信很多人在大文本数据怎么导入导出到数据库问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”大文本数据怎么导入导...
    99+
    2024-04-02
  • php如何导入大量数据到数据库
    要导入大量数据到数据库,可以使用PHP中的数据库扩展(如MySQLi或PDO)来执行批量插入操作。以下是一个示例代码来导入大量数据到...
    99+
    2024-04-02
  • Excel数据导入Mysql常见问题汇总:如何解决导入数据时遇到的大批量插入问题?
    Excel数据导入Mysql常见问题汇总:如何解决导入数据时遇到的大批量插入问题?导入Excel数据到MySQL是日常开发中经常遇到的任务之一。对于少量数据的导入,可以使用数据库客户端工具或者命令行进行插入操作。但当面对大批量数据导入时,简...
    99+
    2023-10-22
    数据导入 批量插入 Mysql问题解决
  • MySQL数据库导入导出数据的方法
    这篇文章主要介绍“MySQL数据库导入导出数据的方法”,在日常操作中,相信很多人在MySQL数据库导入导出数据的方法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”MySQL数...
    99+
    2024-04-02
  • 导出大数据方法。批量导BOM
      create table CUX_IMPORT_DATA_E45 as select * from CUX_IMPORT_DATA_L11 where 1>2;   CREATE TABLE CUX.lmh...
    99+
    2020-06-18
    导出大数据方法。批量导BOM
  • redis数据如何导入导出
    redis数据导入导出的方法:通过redis-dump工具进行导入导出,在终端命令行通过以下命令进行安装。//安装redis-dump工具[root@202.102.221.13 ~]$ yum install ruby rubygems ...
    99+
    2024-04-02
  • elasticsearch数据如何导入导出
    Elasticsearch 中数据的导入导出可以通过以下几种方式实现: 使用 Elasticsearch 提供的 API: 使...
    99+
    2024-04-02
  • 如何导入和导出数据到SQLite数据库
    要导入数据到SQLite数据库,可以使用SQLite的命令行工具或者SQLite的API。以下是两种方法: 使用SQLite的命令...
    99+
    2024-03-14
    SQLite
  • 如何解决Mysql大量数据导入遇到的问题
    这篇文章主要介绍如何解决Mysql大量数据导入遇到的问题,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!在项目中,经常会碰到往数据库中导入大量数据,以便利用sql进行数据分析。在导入数...
    99+
    2024-04-02
  • mongodb怎么导出大量数据
    要导出大量数据,可以使用MongoDB的mongodump工具来备份整个数据库或指定集合。以下是使用mongodump导出大量数据的...
    99+
    2024-05-22
    mongodb
  • PHP函数的数据导入导出函数
    PHP是一种广泛应用于动态网站开发的编程语言。在PHP中,函数是一种可重复利用的代码块,可以提高开发效率和代码质量。其中,数据导入和导出函数尤为常用,能够帮助我们快速地将数据表格导出/导入到文件或数据库中。下面,我们来详细了解一下PHP函数...
    99+
    2023-05-19
    PHP函数 数据导入 数据导出
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作