大数据备份和恢复应用案例--通过分区表备份和恢复数据
分区表
备份
应用
恢复
数据
数据备份
案例
通过
大数据备份和恢复应用案例--通过分区表备份和恢复数据 海量数据备份和恢复方案 对于OLAP的数据库的业务特点，是将批量的数据加载入库，然后对这些数据进行分析处理，比如报表或者数据挖掘，最后给业务提供一种决策支持；另外，这类数据库的数据实时性非常高
大数据备份和恢复应用案例--通过分区表备份和恢复数据
海量数据备份和恢复方案
对于OLAP的数据库的业务特点，是将批量的数据加载入库，然后对这些数据进行分析处理，比如报表或者数据挖掘，最后给业务提供一种决策支持；另外，这类数据库的数据实时性非常高，一旦这些数据处理完毕后，就很少再次使用（有时，也需要对这类数据进行查询）。
对于OLAP数据库的备份和恢复可以考虑这样几种方案：
1、使用分布式数据库
将数据分布到多个库里，当数据库恢复时，只需要恢复单个库的数据，大大节省恢复时间。
2、结合分区技术，以传输表空间方式进行备份和恢复
1、建立分区表，将分区存储在不同的表空间
[oracle@RH6 ~]$sqlplus '/as sysdba'
SQL*Plus: Release 11.2.0.1.0 Production on Tue Nov 18 17:15:47 2014
Copyright (c) 1982, 2009, Oracle. All rights reserved.
Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
17:15:47 SYS@ prod >create tablespace tbs1
17:16:03 2 datafile '/dsk1/oradata/prod/tbs1.dbf' size 10m;
Tablespace created.
17:17:00 SYS@ prod >create tablespace tbs2
17:17:11 2 datafile '/dsk2/oradata/prod/tbs2.dbf' size 10m;
Tablespace created.
17:17:49 SYS@ prod >create tablespace tbs3
17:17:57 2 datafile '/dsk3/oradata/prod/tbs3.dbf' size 10m;
Tablespace created.
17:18:35 SYS@ prod >create tablespace tbs1_indx
17:18:49 2 datafile '/dsk1/oradata/prod/tbs1_indx.dbf' size 10m;
Tablespace created.
17:19:43 SYS@ prod >create tablespace tbs2_indx
17:19:54 2 datafile '/dsk2/oradata/prod/tbs2_indx.dbf' size 10m;
Tablespace created.
17:20:18 SYS@ prod >create tablespace tbs3_indx
17:20:30 2 datafile '/dsk3/oradata/prod/tbs3_indx.dbf' size 10m;
Tablespace created.
17:22:12 SYS@ prod >select file_id,file_name,tablespace_name from dba_data_files
FILE_ID FILE_NAME TABLESPACE_NAME
---------- -------------------------------------------------- ------------------------------
11 /dsk1/oradata/prod/tbs1.dbf TBS1
12 /dsk2/oradata/prod/tbs2.dbf TBS2
13 /dsk3/oradata/prod/tbs3.dbf TBS3
4 /u01/app/oracle/oradata/prod/users01.dbf USERS
3 /u01/app/oracle/oradata/prod/undotbs01.dbf UNDOTBS1
2 /u01/app/oracle/oradata/prod/sysaux01.dbf SYSAUX
1 /u01/app/oracle/oradata/prod/system01.dbf SYSTEM
5 /u01/app/oracle/oradata/prod/example01.dbf EXAMPLE
6 /u01/app/oracle/oradata/prod/users02.dbf USERS
7 /u01/app/oracle/oradata/prod/catatbs1.dbf CATATBS
8 /u01/app/oracle/oradata/prod/perfertbs1.dbf PERFERTBS
9 /u01/app/oracle/oradata/prod/oggtbs1.dbf OGG_TBS
10 /u01/app/oracle/oradata/prod/test1.dbf TEST1
14 /dsk1/oradata/prod/tbs1_indx.dbf TBS1_INDX
15 /dsk2/oradata/prod/tbs2_indx.dbf TBS2_INDX
16 /dsk3/oradata/prod/tbs3_indx.dbf TBS3_INDX
建立分区表及索引：
17:26:41 SCOTT@ prod >create table t1(id int,name varchar2(1000))
17:26:57 2 partition by range(id)
17:27:01 3 (partition p1 values less than(1000) tablespace tbs1,
17:27:13 4 partition p2 values less than(2000) tablespace tbs2,
17:27:23 5 partition p3 values less than(maxvalue) tablespace tbs3);
Table created.
17:30:33 SCOTT@ prod >create index t1_indx on t1(id) local
2 (
3 partition p1 tablespace tbs1_indx,
4 partition p2 tablespace tbs2_indx,
5* partition p3 tablespace tbs3_indx )
/
17:30:37 SCOTT@ prod >select partition_name,tablespace_name from user_segments where segment_name='T1';
PARTITION_NAME TABLESPACE_NAME
------------------------------ ------------------------------
P1 TBS1
P2 TBS2
P3 TBS3
17:31:33 SCOTT@ prod >select partition_name,tablespace_name from user_segments where segment_name='T1_INDX';
PARTITION_NAME TABLESPACE_NAME
------------------------------ ------------------------------
P1 TBS1_INDX
P2 TBS2_INDX
P3 TBS3_INDX
插入数据：
17:34:09 SYS@ prod >begin
17:34:26 2 for i in 1..3 loop
17:34:32 3 insert into scott.t1 select object_id*i,object_name from dba_objects where object_id <1000;
17:34:43 4 end loop;
17:34:51 5 commit;
17:34:57 6 end;
17:35:02 7 /
PL/SQL procedure successfully completed.
17:32:08 SCOTT@ prod >select count(*) from t1;
COUNT(*)
----------
2826
17:36:52 SCOTT@ prod >select 'p1',count(*) from t1 partition(p1)
17:37:42 2 union
17:37:47 3 select 'p2',count(*) from t1 partition(p2)
17:38:11 4 union
17:38:13 5 select 'p3',count(*) from t1 partition(p3);
'P1' COUNT(*)
-------------------------------- ----------
p1 1740
p2 774
p3 312
2、传输表空间
17:35:04 SYS@ prod >alter tablespace tbs1 read only;
Tablespace altered.
17:41:02 SYS@ prod >alter tablespace tbs1_indx read only;
Tablespace altered.
17:39:14 SYS@ prod >create directory tbs_dir as '/home/oracle/data';
Directory created.
17:40:30 SYS@ prod >grant read,write on directory tbs_dir to scott;
Grant succeeded.
[oracle@RH6 data]$ expdp system/oracle directory=tbs_dir dumpfile=p1.dmp transport_tablespaces=tbs1,tbs1_indx logfile=p1.log
Export: Release 11.2.0.1.0 - Production on Tue Nov 18 17:44:25 2014
Copyright (c) 1982, 2009, Oracle and/or its affiliates. All rights reserved.
Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
Starting "SYSTEM"."SYS_EXPORT_TRANSPORTABLE_01": system/******** directory=tbs_dir dumpfile=p1.dmp transport_tablespaces=tbs1,tbs1_indx logfile=p1.log
ORA-39123: Data Pump transportable tablespace job aborted
ORA-39187: The transportable set is not self-contained, violation list is
ORA-39901: Partitioned table SCOTT.T1 is partially contained in the transportable set.
ORA-39921: Default Partition (Table) Tablespace USERS for T1 not contained in transportable set.
Job "SYSTEM"."SYS_EXPORT_TRANSPORTABLE_01" stopped due to fatal error at 17:44:49
传输表空间出错，表空间处于非自包含模式：
18:14:47 SYS@ prod >exec dbms_tts.transport_set_check('TBS1',true);
PL/SQL procedure successfully completed.
18:17:49 SYS@ prod >select * from transport_set_violations;
VIOLATIONS
------------------------------------------------------------------------------------------------------------------------
ORA-39921: Default Partition (Table) Tablespace USERS for T1 not contained in transportable set.
.
ORA-39901: Partitioned table SCOTT.T1 is partially contained in the transportable set.
解决方法，需要创建一个临时表和一个临时表索引，将分区和分区索引交换到临时表和临时表索引表空间上，然后到处临时表和临时表索引。由于临时表不是分区表，它们呢所在的表空间符合自包含条件。
17:45:37 SCOTT@ prod >create table t1_tmp as select * from t1 where 1=3;
Table created.
Elapsed: 00:00:00.20
17:45:58 SCOTT@ prod >create index t1_tmp_indx on t1_tmp(id);
Index created.
17:46:33 SCOTT@ prod >select segment_name,tablespace_name from user_segments
17:47:18 2 where segment_name in ('T1_TMP','T1_TMP_INDX');
SEGMENT_NAME TABLESPACE_NAME
--------------------------------------------------------------------------------- ------------------------------
T1_TMP USERS
T1_TMP_INDX USERS
将分区表交换到临时表：
17:48:32 SCOTT@ prod >alter table t1 exchange partition p1 with table t1_tmp including indexes;
Table altered.
17:49:02 SCOTT@ prod >select segment_name,tablespace_name from user_segments
17:49:35 2 where segment_name in ('T1_TMP','T1_TMP_INDX');
SEGMENT_NAME TABLESPACE_NAME
--------------------------------------------------------------------------------- ------------------------------
T1_TMP TBS1
T1_TMP_INDX TBS1_INDX
17:50:44 SYS@ prod >exec dbms_tts.transport_set_check('TBS1',true);
PL/SQL procedure successfully completed.
17:51:59 SYS@ prod >select * from transport_set_violations;
no rows selected
已经符合自包含条件
[oracle@RH6 data]$ expdp system/oracle directory=tbs_dir dumpfile=p1.dmp transport_tablespaces=tbs1,tbs1_indx logfile=p1.log
Export: Release 11.2.0.1.0 - Production on Tue Nov 18 17:52:55 2014
Copyright (c) 1982, 2009, Oracle and/or its affiliates. All rights reserved.
Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
Starting "SYSTEM"."SYS_EXPORT_TRANSPORTABLE_01": system/******** directory=tbs_dir dumpfile=p1.dmp transport_tablespaces=tbs1,tbs1_indx logfile=p1.log
Processing object type TRANSPORTABLE_EXPORT/PLUGTS_BLK
Processing object type TRANSPORTABLE_EXPORT/TABLE
Processing object type TRANSPORTABLE_EXPORT/INDEX
Processing object type TRANSPORTABLE_EXPORT/INDEX_STATISTICS
Processing object type TRANSPORTABLE_EXPORT/POST_INSTANCE/PLUGTS_BLK
Master table "SYSTEM"."SYS_EXPORT_TRANSPORTABLE_01" successfully loaded/unloaded
******************************************************************************
Dump file set for SYSTEM.SYS_EXPORT_TRANSPORTABLE_01 is:
/home/oracle/data/p1.dmp
******************************************************************************
Datafiles required for transportable tablespace TBS1:
/dsk1/oradata/prod/tbs1.dbf
Datafiles required for transportable tablespace TBS1_INDX:
/dsk1/oradata/prod/tbs1_indx.dbf
Job "SYSTEM"."SYS_EXPORT_TRANSPORTABLE_01" successfully completed at 17:54:17
表空间导出成功！
17:56:16 SYS@ prod >select file_name,tablespace_name from dba_data_files where tablespace_name in ('TBS1','TBS1_INDX');
FILE_NAME TABLESPACE_NAME
-------------------------------------------------- ------------------------------
/dsk1/oradata/prod/tbs1.dbf TBS1
/dsk1/oradata/prod/tbs1_indx.dbf TBS1_INDX
[oracle@RH6 ~]$ cp /dsk1/oradata/prod/tbs1* /home/oracle/data
[oracle@RH6 ~]$ ls -lh /home/oracle/data
total 21M
-rw-r----- 1 oracle oinstall 92K Nov 18 17:54 p1.dmp
-rw-r--r-- 1 oracle oinstall 1.4K Nov 18 17:54 p1.log
-rw-r----- 1 oracle oinstall 11M Nov 18 17:57 tbs1.dbf
-rw-r----- 1 oracle oinstall 11M Nov 18 17:57 tbs1_indx.dbf
然后再将表空间的数据文件进行备份，由于表空间传输，只是导出了metadata，所以数据量非常小，速度非常快。
3、数据恢复
17:58:29 SYS@ prod >drop tablespace tbs1 including contents and datafiles;
Tablespace dropped.
17:58:55 SYS@ prod >drop tablespace tbs1_indx including contents and datafiles;
Tablespace dropped.
17:59:12 SYS@ prod >col segment_name for a20
17:59:42 SYS@ prod >col partition_name for a10
17:59:49 SYS@ prod >col tablespace_name for a10
17:59:59 SYS@ prod >select segment_name,partition_name,tablespace_name from dba_segments
18:00:32 2 where segment_name in ('T1','T1_INDX') order by 2;
SEGMENT_NAME PARTITION_ TABLESPACE
-------------------- ---------- ----------
T1 P1 USERS
T1_INDX P1 USERS
T1_INDX P2 TBS2_INDX
T1 P2 TBS2
T1_INDX P3 TBS3_INDX
T1 P3 TBS3
6 rows selected.
拷贝备份数据文件到数据库下，进行数据导入
[oracle@RH6 oradata]$ cp /home/oracle/data/tbs1*.dbf /u01/app/oracle/oradata/prod/
[oracle@RH6 data]$ impdp system/oracle directory=tbs_dir dumpfile=p1.dmp transport_datafiles='/u01/app/oracle/oradata/prod/tbs1.dbf','/u01/app/oracle/oradata/prod/tbs1_indx.dbf' logfile=imp.log
Import: Release 11.2.0.1.0 - Production on Tue Nov 18 18:06:22 2014
Copyright (c) 1982, 2009, Oracle and/or its affiliates. All rights reserved.
Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
Master table "SYSTEM"."SYS_IMPORT_TRANSPORTABLE_01" successfully loaded/unloaded
Starting "SYSTEM"."SYS_IMPORT_TRANSPORTABLE_01": system/******** directory=tbs_dir dumpfile=p1.dmp transport_datafiles=/u01/app/oracle/oradata/prod/tbs1.dbf,/u01/app/oracle/oradata/prod/tbs1_indx.dbf logfile=imp.log
Processing object type TRANSPORTABLE_EXPORT/PLUGTS_BLK
Processing object type TRANSPORTABLE_EXPORT/TABLE
Processing object type TRANSPORTABLE_EXPORT/INDEX
Processing object type TRANSPORTABLE_EXPORT/INDEX_STATISTICS
Processing object type TRANSPORTABLE_EXPORT/POST_INSTANCE/PLUGTS_BLK
Job "SYSTEM"."SYS_IMPORT_TRANSPORTABLE_01" successfully completed at 18:06:37
数据导入成功
18:01:03 SYS@ prod >select segment_name,partition_name,tablespace_name from dba_segments
18:07:37 2 where segment_name in ('T1_TMP','T1_TMP_INDX');
SEGMENT_NAME PARTITION_ TABLESPACE
-------------------- ---------- ----------
T1_TMP TBS1
T1_TMP_INDX TBS1_INDX
18:09:40 SCOTT@ prod >alter table t1 exchange partition p1 with table t1_tmp including indexes;
Table altered.
18:08:15 SYS@ prod >select segment_name,partition_name,tablespace_name from dba_segments
18:10:46 2 where segment_name in ('T1','T1_INDX') order by 2;
SEGMENT_NAME PARTITION_ TABLESPACE
-------------------- ---------- ----------
T1 P1 TBS1
T1_INDX P1 TBS1_INDX
T1_INDX P2 TBS2_INDX
T1 P2 TBS2
T1_INDX P3 TBS3_INDX
T1 P3 TBS3
6 rows selected.
访问正常（索引亦导入成功）
18:12:07 SCOTT@ prod >col name for a50
18:12:19 SCOTT@ prod >r
1* select * from t1 where id=4
ID NAME
---------- --------------------------------------------------
4 C_OBJ#
4 TAB$
Elapsed: 00:00:00.00
Execution Plan
----------------------------------------------------------
Plan hash value: 1229066337
--------------------------------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time | Pstart| Pstop |
--------------------------------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 2 | 1030 | 1 (0)| 00:00:01 | | |
| 1 | PARTITION RANGE SINGLE | | 2 | 1030 | 1 (0)| 00:00:01 | 1 | 1 |
| 2 | TABLE ACCESS BY LOCAL INDEX ROWID| T1 | 2 | 1030 | 1 (0)| 00:00:01 | 1 | 1 |
|* 3 | INDEX RANGE SCAN | T1_INDX | 1 | | 1 (0)| 00:00:01 | 1 | 1 |
--------------------------------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
3 - access("ID"=4)
Note
-----
- dynamic sampling used for this statement (level=2)
Statistics
----------------------------------------------------------
0 recursive calls
0 db block gets
5 consistent gets
0 physical reads
0 redo size
524 bytes sent via SQL*Net to client
419 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
2 rows processed
18:11:05 SYS@ prod >alter tablespace tbs1 read write;
Tablespace altered.
Elapsed: 00:00:02.10
18:14:34 SYS@ prod >alter tablespace tbs1_indx read write;
Tablespace altered.登录后复制
三、备份载入的原介质
本站声明
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热AI工具
Undresser.AI Undress
人工智能驱动的应用程序，用于创建逼真的裸体照片
AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。
Undress AI Tool
免费脱衣服图片
Clothoff.io
AI脱衣机
AI Hentai Generator
免费生成ai无尽的。
热门文章
R.E.P.O.能量晶体解释及其做什么（黄色晶体）
3 周前
By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前
By 尊渡假赌尊渡假赌尊渡假赌
刺客信条阴影：贝壳谜语解决方案
2 周前
By DDD
R.E.P.O.如果您听不到任何人，如何修复音频
3 周前
By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25：如何解锁Myrise中的所有内容
3 周前
By 尊渡假赌尊渡假赌尊渡假赌
热工具
记事本++7.3.1
好用且免费的代码编辑器
SublimeText3汉化版
中文版，非常好用
禅工作室 13.0.1
功能强大的PHP集成开发环境
Dreamweaver CS6
视觉化网页开发工具
SublimeText3 Mac版
神级代码编辑软件(SublimeText3)
热门话题
开源！超越ZoeDepth！ DepthFM：快速且精确的单目深度估计！
Apr 03, 2024 pm 12:04 PM
0.这篇文章干了啥？提出了DepthFM：一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高，可以在少数推理步骤内合成深度图。下面一起来阅读一下这项工作~1.论文信息标题：DepthFM:FastMonocularDepthEstimationwithFlowMatching作者：MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,Dmytr
谷歌狂喜：JAX性能超越Pytorch、TensorFlow！或成GPU推理训练最快选择
Apr 01, 2024 pm 07:46 PM
谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。而且测试并不是在JAX性能表现最好的TPU上完成的。虽然现在在开发者中，Pytorch依然比Tensorflow更受欢迎。但未来，也许有更多的大模型会基于JAX平台进行训练和运行。模型最近，Keras团队为三个后端（TensorFlow、JAX、PyTorch）与原生PyTorch实现以及搭配TensorFlow的Keras2进行了基准测试。首先，他们为生成式和非生成式人工智能任务选择了一组主流
如何在iPhone中撤消从主屏幕中删除
Apr 17, 2024 pm 07:37 PM
从主屏幕中删除了重要内容并试图将其取回？您可以通过多种方式将应用程序图标放回屏幕。我们已经讨论了您可以遵循的所有方法，并将应用程序图标放回主屏幕如何在iPhone中撤消从主屏幕中删除正如我们之前提到的，有几种方法可以在iPhone上恢复此更改。方法1–替换应用程序库中的应用程序图标您可以直接从应用程序库将应用程序图标放置在主屏幕上。第1步–横向滑动以查找应用程序库中的所有应用程序。步骤2–找到您之前删除的应用程序图标。步骤3–只需将应用程序图标从主库拖动到主屏幕上的正确位置即可。这是将应用程序图
iPhone上的蜂窝数据互联网速度慢：修复
May 03, 2024 pm 09:01 PM
在iPhone上面临滞后，缓慢的移动数据连接？通常，手机上蜂窝互联网的强度取决于几个因素，例如区域、蜂窝网络类型、漫游类型等。您可以采取一些措施来获得更快、更可靠的蜂窝互联网连接。修复1–强制重启iPhone有时，强制重启设备只会重置许多内容，包括蜂窝网络连接。步骤1–只需按一次音量调高键并松开即可。接下来，按降低音量键并再次释放它。步骤2–该过程的下一部分是按住右侧的按钮。让iPhone完成重启。启用蜂窝数据并检查网络速度。再次检查修复2–更改数据模式虽然5G提供了更好的网络速度，但在信号较弱
PHP中箭头符号的作用及实践应用
Mar 22, 2024 am 11:30 AM
PHP中箭头符号的作用及实践应用在PHP中，箭头符号（->）通常用于访问对象的属性和方法。对象是PHP中面向对象编程（OOP）的基本概念之一，在实际开发中，箭头符号在操作对象时发挥着重要作用。本文将介绍箭头符号的作用以及实践应用，并提供具体的代码示例来帮助读者更好地理解。一、箭头符号的作用访问对象的属性箭头符号可以用来访问对象的属性。当我们实例化一个对
超级智能体生命力觉醒！可自我更新的AI来了，妈妈再也不用担心数据瓶颈难题
Apr 29, 2024 pm 06:55 PM
哭死啊，全球狂炼大模型，一互联网的数据不够用，根本不够用。训练模型搞得跟《饥饿游戏》似的，全球AI研究者，都在苦恼怎么才能喂饱这群数据大胃王。尤其在多模态任务中，这一问题尤为突出。一筹莫展之际，来自人大系的初创团队，用自家的新模型，率先在国内把“模型生成数据自己喂自己”变成了现实。而且还是理解侧和生成侧双管齐下，两侧都能生成高质量、多模态的新数据，对模型本身进行数据反哺。模型是啥？中关村论坛上刚刚露面的多模态大模型Awaker1.0。团队是谁？智子引擎。由人大高瓴人工智能学院博士生高一钊创立，高
如何在 PHP 中使用 MySQL 备份和还原？
Jun 03, 2024 pm 12:19 PM
在PHP中备份和还原MySQL数据库可通过以下步骤实现：备份数据库：使用mysqldump命令转储数据库为SQL文件。还原数据库：使用mysql命令从SQL文件还原数据库。
美国空军高调展示首个AI战斗机！部长亲自试驾全程未干预，10万行代码试飞21次
May 07, 2024 pm 05:00 PM
最近，军事圈被这个消息刷屏了：美军的战斗机，已经能由AI完成全自动空战了。是的，就在最近，美军的AI战斗机首次公开，揭开了神秘面纱。这架战斗机的全名是可变稳定性飞行模拟器测试飞机（VISTA），由美空军部长亲自搭乘，模拟了一对一的空战。5月2日，美国空军部长FrankKendall在Edwards空军基地驾驶X-62AVISTA升空注意，在一小时的飞行中，所有飞行动作都由AI自主完成！Kendall表示——在过去的几十年中，我们一直在思考自主空对空作战的无限潜力，但它始终显得遥不可及。然而如今，
