OGG实现Oracle数据库数据同步到分布式数据库TiDB

如题所述

第1个回答  2024-08-18
本文详细介绍如何使用OGG实现Oracle数据库数据同步到分布式数据库TiDB。对于对数据库领域感兴趣的读者,这是一个非常实用的技术分享。首先,我们将简要介绍Oracle和TiDB数据库概念,以便读者对本文的背景有所了解。接下来,我们将从零开始安装Oracle、TiDB数据库以及OGG for Oracle/MySQL工具。最后,我们将通过GoldenGate工具实现Oracle数据库的全量和增量数据同步到TiDB数据库。

在实现同步之前,需要了解MySQL的参数lower_case_table_names。这是数据库设置大小写是否敏感的一个参数。对于TiDB,某些版本支持修改此参数,而有些版本不支持。TiDB默认为2,因此在配置OGG登录TiDB时需要注意这一点。如果TiDB参数为2,则OGG登录时可能会出现错误。为避免此类问题,TiDB推荐使用Playground运行方式。

为确保同步过程顺利进行,本文将分步骤进行数据库准备、OGG准备以及数据同步。首先,部署Oracle数据库和TiDB数据库,包括离线playground的使用。接着,准备OGG工具,包括OGG for Oracle 19c和OGG for MySQL。在数据同步阶段,需要确保数据库表已经准备妥当,以便从Oracle数据库中抽取数据并将其投递到TiDB数据库。此外,我们将进行存量数据同步,即Oracle到TiDB的全量数据同步。

在同步过程中,测试表明,单机运行Playground时,单表每秒可插入约1200条数据,200万条数据的同步总共耗时大约半小时。这展示了OGG在数据同步方面的高效性能。总之,本文提供了一个全面的指南,从数据库准备到OGG工具的安装、配置以及数据同步的实现,为读者提供了一套实用的解决方案。通过本文的示例,读者可以参考在实际生产环境数据库迁移中实现类似的数据同步任务。

OGG实现Oracle数据库数据同步到分布式数据库TiDB
首先,部署Oracle数据库和TiDB数据库,包括离线playground的使用。接着,准备OGG工具,包括OGG for Oracle 19c和OGG for MySQL。在数据同步阶段,需要确保数据库表已经准备妥当,以便从Oracle数据库中抽取数据并将其投递到TiDB数据库。此外,我们将进行存量数据同步,即Oracle到TiDB的全量数据同步。在同步过程...

怎样将数据从Oracle迁移到TiDB
迁移过程分为三个步骤:首先,需要将DDL(数据定义语言)转换,注意字段类型兼容性。然后,进行全量数据迁移,可以借助Oracle的OGG工具,通过初始装载和增量抽取实现。在迁移前,确保Oracle设置为归档模式、开启强制日志记录,并启用GoldenGate复制。目标端TiDB需要设置tidb_constraint_check_in_place参数以处理主...

怎样将数据从Oracle迁移到TiDB
全量数据迁移:通过OGG(Oracle GoldenGate)的Initial Load功能进行全量数据迁移。 增量数据迁移:利用OGG进行增量数据的同步,需先开启日志抽取,以实现在初始化同步后应用所有后续的日志数据。 在迁移前,需要确保Oracle数据库和TiDB分布式数据库满足特定的配置要求,包括但不限于开启归档模式、设置特定参数...

OceanBase和TiDB的区别(1):不同的一致性协议Paxos\/Raft
在原生分布式数据库领域,OceanBase(OB)与TiDB、Cockroachdb(CRDB)采用了不同的数据一致性协议,分别是Paxos和Raft。尽管这两种协议在原生定义上实现方式有很大不同,但都旨在确保分布式数据库中的多个副本数据一致性以及提供良好的性能体验。有人认为,OceanBase之所以选择Paxos,是因为在Paxos协议出现之前,...

在Flink中稳定可靠地使用Oracle维度表
在我们工作中也使用了TiDB组件,一般会用来做实时数仓和业务库,并且经过验证,Flink读取TiDB中数据是稳定可靠的,类似于读取Mysql。于是可以将原来在Oracle的维度表同步至TiDB中,Flink从TiDB去读取维度表,方案如下图所示。链路步骤4和6将由OGG将Oracle数据同步至TiDB中,最终结果数据也将放在TiDB中了。综...

一文读懂分布式数据库TiDB存储引擎原理
分布式数据库TiDB是PingCAP公司出品的创新解决方案,它作为一款融合型数据库,支持在线事务处理(OLTP)和在线分析处理(OLAP)于一体,旨在为用户提供高效的一站式数据处理服务。TiDB不仅兼容MySQL 5.7协议,还具备水平扩展、高可用性、实时HTAP能力以及云原生特性,广泛适用于高可用、强一致性和大数据场景。与...

tidb是什么公司
TiDB是PingCAP公司开发的开源分布式数据库。TiDB是一款分布式关系型数据库管理系统,其设计旨在满足互联网时代的快速变化需求。PingCAP公司作为TiDB的主要开发者,专注于推动数据库技术的创新和发展。以下是关于TiDB和PingCAP的详细介绍:TiDB是PingCAP推出的一个开源项目,它提供了与传统关系型数据库相似的SQL接口...

TiDB是如何在国有大银行实现数据库业务“一换三”的
改造后的架构简洁明了,数据服务层化繁为简,原生分布式数据库TiDB取代了原有的三大国际顶流数据库,实现了对数据的高效管理和利用。新架构不仅解决了数据查询和分析的难题,还提供了稳定的系统资源和高可用性,满足了金融行业的严苛要求。实施TiDB方案后,国有大银行的核心交易系统实现了国产化替代,数据...

TiDB 基础操作集
使用OGG 做全量+增量同步 使用Navicat Premium 版的 data transfer 功能,支持从 Oracle\/SqlServer 迁移全量数据至 TiDB 通过kafka 等消息队列工具,解析 OGG 的日志,开发写入 TiDB\/MySQL 的工具 目前我们也在积极跟专业的数据异构平台合作,争取能够尽快在更多的数据迁移工具中兼容 TiDB 数据源。1、启动集群 ansible-pla...

选择TiDB的10个理由
在数据库技术的演变历程中,从集中式到分布式,TiDB凭借其独特的魅力吸引了开发者的眼球。作为开发人员,我们始终追求在任何架构变化中保持单机数据库的简单使用体验,而TiDB恰恰满足了这一需求,它将分布式数据库的复杂性内化,留给用户的是直观易用的特性。以下是选择TiDB的十个核心原因。首先,TiDB是真正...

相似回答
大家正在搜