Etl工具将sqlserver数据同步到oracle设计说明

软件说明

通过etl工具定时将SqlServer指定的表数据同步到oracle数据库

在数据库建立增删改的触发器。触发器将变更放到临时表里。

通过etl工具读取临时表同步给oracle

优点：比较实时

缺点：影响到业务系统，因为需要在业务系统建立触发器

实例说明：

例如在sqlserver有一张用户表（sys_user）需定时同步oracle数据库的用户表，

包括新增、删除、修改同步

给同步的表建三类触发器：

insert触发器：向表中插入数据时被触发；

update触发器：修改表中数据时被触发；

delete触发器：从表中删除数据时被触发。

以sqlserver的用户表举例，

Sqlserver的sys_user表，有两个字段id，name

具体流程：

以新增数据举例

Ø 一、在sqlserver新建触发器trigger_sysuser_insert

if (object_id('trigger_sysuser_insert') is not null)

drop trigger trigger_sysuser_insert

go

create trigger trigger_sysuser_insert

on sys_user --表名

for insert --插入后触发

--instead of insert --插入前触发,使用插入前触发时,不执行默认插入

as

--开始执行逻辑

declare @id int, @name varchar(20);

select @id = id, @name = name from sys_user; -------------- inserted 存放了当前插入的值

--select @name,@age

---创建临时表

if not exists (select from sysobjects where id = object_id('##sys_user_insert')

and OBJECTPROPERTY(id, 'IsUserTable') = 1)

create table ##sys_user_insert

(

id int,

name varchar(32)

);

insert into ##sys_user_insert (id,name) values(@id,@name);

go

在sys_user新增数据时会被触发，将新增的数据加入临时表##sys_user_insert，此时

的临时表 ##sys_user_insert会增加一条记录

Ø 二、配置elt流程

节点1 从临时表读取数据，写入数据流

节点2 从数据流获取数据写入oracle

节点3 从sqlserver的临时表删除已经被同步的记录

Ø 三、建立作业调度

设置调度周期

适用增量数据同步

在要同步的源表里有时间戳字段，每当数据发生新增，时间戳会记录发生变化的时间，etl工具根据时间范围定时同步数据

优点：基本不影响业务系统

缺点：要求源表必须有时间戳这一列，适用增量场景，修改、删除不太适用

定时清空oracle数据源，将sqlserver的数据全盘拷贝到oracle数据源。一般用于数据量不大，实时性要求不高的场景。

优点：基本不影响业务系统，开发、部署都很简单

缺点：效率低

Etl流程

结论

准能现场数据同步，涉及增、删、改的同步，比较适用触发器的方式进行数据同步，但触发器仍会存在失效的情况，若现场有数据质量系统，定期数据稽核，查缺补漏，保证两边数据库的一致性；

1、首先你得搞清楚建设数仓的目的是什么

是偏向于整合各系统数据，为数据分析决策服务，还是偏向于快速的完成分析决策需求？

如果是前者，那么在数据仓库建模的时候一般会选择ER建模方法；

如果是后者，一般会选择维度建模方法。

ER建模：即实体关系建模，由数据仓库之父BIll Inmon提出，核心思想是从全企业的高度去设计三范式模型，用实体关系描述企业服务。主张的是自上而下的架构，将不同的OLTP数据集中到面向主题的数据仓库中。

维度建模：由Kimball提出，核心思想是从分析决策的需求出发构建模型。这种模型由事实表和维表组成，即星型模型和雪花模型。Kimball倡导自下而上的架构，可以针对独立部门建立数据集市，再递增的构建，汇总成数据仓库。

2、其次你得进行深入的业务调研和数据调研

业务调研：深入的业务调研能使你更加明确数仓建设的目的；同时也利于后续的建模设计，随着调研的开展，如何将实体业务抽象为数仓模型会更加明朗。

数据调研：各部门或各科室的数据现状了解，包括数据分类、数据存储方式、数据量、具体的数据内容等等。这对后续的主数据串联或者维度一致性处理等等都是必须的基础。

3、然后是数据仓库工具选型

传统型数据仓库：一般会选择第三方厂家的数据库和配套ETL工具。因为有第三方支持，相对有保障；但缺点也很明显，受约束以及成本较高。

NoSQL型数据仓库：一般是基于hadoop生态的数据仓库。hadoop生态已经非常强大，可以找到各种开源组件去支持数据仓库。缺点是需要招聘专门人士去摸索，并且相对会存在一些未知隐患。

4、最后是设计与实施

设计：包括数据架构中的数据层次划分以及具体的模型设计；也包括程序架构中的数据质量管理、元数据管理、调度管理等；

实施：规范化的项目管理实施，但同时也需记住一点，数据仓库不是一个项目，它是一个过程。

以上就是关于Etl工具将sqlserver数据同步到oracle设计说明全部的内容，包括:Etl工具将sqlserver数据同步到oracle设计说明、请问数据仓库都用什么建立、等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！