ODS的作用

一般在带有ODS的系统体系结构中，ODS都设计为如下几个作用：

1、在业务系统和数据仓库之间形成一个隔离层

一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。因此，ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。

2、转移一部分业务系统细节查询的功能

在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大的压力。ODS的数据从粒度、组织方式等各个方面都保持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS中进行，从而降低业务系统的查询压力。

3、完成数据仓库中不能完成的一些功能

一般来说，带有ODS的数据仓库体系结构中，DW层所存储的数据都是进行汇总过的数据，并不存储每笔交易产生的细节数据，但是在某些特殊的应用中，可能需要对交易细节数据进行查询，这时就需要把细节数据查询的功能转移到ODS来完成，而且ODS的数据模型按照面向主题的方式进行存储，可以方便地支持多维分析等查询功能。

在一个没有ODS层的数据仓库应用系统体系结构中，数据仓库中存储的数据粒度是根据需要而确定的，但一般来说，最为细节的业务数据也是需要保留的，实际上也就相当于ODS，但与ODS所不同的是，这时的细节数据不是“当前、不断变化的”数据，而是“历史的，不再变化的”数据。

关系数据库：是建立在关系模型基础上的数据库。借助于集合代数等概念和方法来处理数据库中的数据。 数据仓库：是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。 区别：数据库是面向事务的设计，数据仓库是面向主题

数据仓库分层的原因

1通过数据预处理提高效率，因为预处理，所以会存在冗余数据

2如果不分层而业务系统的业务规则发生变化，就会影响整个数据清洗过程，工作量巨大

3通过分层管理来实现分步完成工作，这样每一层的处理逻辑就简单了

标准的数据仓库分层：ods（临时存储层），pdw（数据仓库层），mid（数据集市层），app（应用层）

ods：历史存储层，它和源系统数据是同构的，而且这一层数据粒度是最细的，这层的表分为两种，一种是存储当前需要加载的数据，一种是用于存储处理完后的数据。

pdw：数据仓库层，它的数据是干净的数据，是一致的准确的，也就是清洗后的数据，它的数据一般都遵循数据库第三范式，数据粒度和ods的粒度相同，它会保存bi系统中所有历史数据

mid：数据集市层，它是面向主题组织数据的，通常是星状和雪花状数据，从数据粒度将，它是轻度汇总级别的数据，已经不存在明细的数据了，从广度来说，它包含了所有业务数量。从分析角度讲，大概就是近几年

app：应用层，数据粒度高度汇总，倒不一定涵盖所有业务数据，只是mid层数据的一个子集。

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。数据仓库的context也可以理解为：数据源，数据仓库，数据应用

数据仓库可以理解为中间集成化数据管理的一个平台

etl（抽取extra，转化transfer，装载load）是数据仓库的流水线，也可以认为是数据仓库的血液。

数据仓库的存储并不需要存储所有原始数据，因为比如你存储冗长的文本数据完全没必要，但需要存储细节数据，因为需求是多变的，而且数据仓库是导入数据必须经过整理和转换使它面向主题，因为前台数据库的数据是基于oltp *** 作组织优化的，这些可能不适合做分析，面向主题的组织形式才有利于分析。

多维数据模型就是说可以多维度交叉查询和细分，应用一般都是基于联机分析处理（online analytical process OLAP），面向特定需求群体的数据集市会基于多位数据模型构建

而报表展示就是将聚合数据和多维分析数据展示到报表，提供简单和直观的数据。

元数据，也叫解释性数据，或者数据字典，会记录数据仓库中模型的定义，各层级之间的映射关系，监控数据仓库的数据状态和etl的任务运行状态。一般通过元数据资料库来统一存储和管理元数据。

（1）为什么要分层

作为一名数据的规划者，我们肯定希望自己的数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到。直观来讲就是如图这般层次清晰、依赖关系直观。

但是，大多数情况下，我们完成的数据体系却是依赖复杂、层级混乱的。如下图，在不知不觉的情况下，我们可能会做出一套表依赖结构混乱，甚至出现循环依赖的数据体系。

因此，我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层。数据分层并不能解决所有的数据问题，但是，数据分层却可以给我们带来如下的好处：

1）清晰数据结构： 每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解；

2）减少重复开发： 规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算；

3）统一数据口径： 通过数据分层，提供统一的数据出口，统一对外输出的数据口径；

4 ）复杂问题简单化： 将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题。

为了满足前面提到好处，通常将数据模型分为三层：数据运营层（ ODS ）、数据仓库层（DW）和数据应用层（APP）。简单来讲，我们可以理解为：ODS层存放的是接入的原始数据，DW层是存放我们要重点设计的数据仓库中间层数据，APP是面向业务定制的应用数据。下面详细介绍这三层的设计。

（2）数据模型的分层

1）源数据层（ODS）

此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。

2）数据仓库层（DW）

也称为细节层，DW 层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。

此层可以细分为三层：

明细层DWD（Data Warehouse Detail） ：存储明细数据，此数据是最细粒度的事实数据。该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。同时，为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联。

中间层DWM（Data WareHouse Middle） ：存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。

业务层DWS（Data WareHouse Service） ：存储宽表数据，此层数据是针对某个业务领域的聚合数据，业务层的数据通常来源与此层，为什么叫宽表，主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。此层数据通常来源与DWD和DWM层的数据。

在实际计算中，如果直接从DWD或者ODS计算出宽表的统计指标，会存在计算量太大并且维度太少的问题，因此一般的做法是，在DWM层先计算出多个小的中间表，然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定，也可以去掉DWM这一层，只留DWS层，将所有的数据在放在DWS亦可。

3）数据应用层（DA 或 APP）

前端应用直接读取的数据源；根据报表、专题分析的需求而计算生成的数据。

4）维表层（Dimension）

最后补充一个维表层，维表层主要包含两部分数据：

A）高基数维度数据：一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。

B）低基数维度数据：一般是配置表，比如枚举值对应的中文含义，或者日期维表。数据量可能是个位数或者几千几万。

（3）问题扩展

数据仓库系统架构

上图系统各部分的执行流程是：

1）确定分析所依赖的源数据。

2）通过ETL将源数据采集到数据仓库。

3）数据按照数据仓库提供的主题结构进行存储。

4）根据各部门的业务分析要求创建数据集市（数据仓库的子集）。

5）决策分析、报表等应用系统从数据仓库查询数据、分析数据。

6）用户通过应用系统查询分析结果、报表。

（4）结合项目中使用

电商网站的数据体系设计，这里针对用户访问日志这一部分数据进行举例说明:

在ODS层中，由于各端的开发团队不同或者各种其它问题，用户的访问日志被分成了好几张表上报到了我们的ODS层。

为了方便大家的使用，我们在DWD层做了一张用户访问行为天表，在这里，我们将PC网页、H5、小程序和原生APP访问日志汇聚到一张表里面，统一字段名，提升数据质量，这样就有了一张可供大家方便使用的明细表了。

在DWM层，我们会从DWD层中选取业务关注的核心维度来做聚合 *** 作，比如只保留人、商品、设备和页面区域维度。类似的，我们这样做很多个DWM的中间表。

然后在DWS层，我们将一个人在整个网站中的行为数据放到一张表中，这就是我们的宽表了，有了这张表，就可以快速满足大部分的通用型业务需求了。

最后，在APP应用层，根据需求从DWS层的一张或者多张表取出数据拼接成一张应用表即可。

数据仓库系统的三个工具层数据仓库系统通常采用3层的体系结构，底层为数据仓库服务器，中间层为OLAP服务器，顶层为前端工具。具体如下：

1、数据源和数据的存储与管理部分可以统称为数据仓库服务器。

（1）数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息，等等。

（2）数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。

2、OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。

3、前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具，以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。

什么是数据仓库

目前，数据仓库一词尚没有一个统一的定义，著名的数据仓库专家 WHInmon 在其著作《 Building the Data Warehouse 》一书中给予如下描述：数据仓库（ Data Warehouse ）是一个面向主题的（ Subject Oriented ）、集成的（ Integrate ）、相对稳定的（ Non-Volatile ）、反映历史变化（ Time Variant ）的数据集合，用于支持管理决策。 对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的 *** 作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。

数据库是一个装数据（信息的原材料）的地方。

数据仓库是一种系统，这种系统也是用数据库装东西。

数据仓库系统（用数据库装东西）与其他基础业务系统（例如财务系统、销售系统、人力资源系统等，也是用数据库装东西）的区别是：

基础业务系统的特点是各管各的，例如财务系统生产了白菜，那么用一个数据库来装，人力资源系统生产了猪肉，再用一个数据库来装。我要做一道菜，需要分别到各个数据库去取，比较麻烦（现实的情况是大部分时候让种菜的农民伯伯送过来，但送过来的东西不一定是我想要的，而且不同的时候我想要不同的东西，经常会被农民伯伯骂，弄得双方都不开心）。另外一方面，各个数据库中放的是一些比较原始的东西，我要拿过来做菜，还需要经过很麻烦的清洗过程，一不小心里面可能就藏着一条大青虫。

那么，数据仓库系统就是建立一个大的超市，将各地农民伯伯出产的东西收集过来，清洗干净，分门别类地放好。这样，你要哪种菜的时候，直接从超市里面拿就可以了。

早期一直不理解数据仓库是什么困惑得很。

宏观一点讲，数据仓库就是堆放公司所有数据的地方，之所以把数据都堆在一起，是为了从中间找到有价值的东西。

数据仓库更多的是一个概念，不要把数据仓库想成那些号称是数据仓库的软件产品们。

数据仓库的物理上就是数据库。相对业务系统数据库叫 OLTP 数据库（用于业务处理），这种数据库叫 OLAP 数据库（用于业务分析）。

数据仓库的概念是针对以下基本需求产生的：

公司的业务系统很多，业务系统的历史数据不方便查询。不同的业务系统往往管理部门不同，地域不同。能不能将所有这些数据集中起来，再淘淘有没有有意义的业务规律。

数据仓库数据库往往很大，因为公司所有的数据集中得越多，越能淘到有价值的发现。例如随便就 100G 以上。

数据仓库的组成十分繁杂，既有业务系统的历史数据，又有人事、财务数据，还要自己建一些基础性的数据，例如，公共假期数据、地理信息、国家信息等等。

数据仓库概念包含从业务生产系统采集数据的程序，这个程序还不能影响业务系统的运行。（属于所谓 “ETL” 过程）

数据仓库包括业务系统长期的历史数据，例如 5 年，用来分析。（所谓 “ODS” 数据）

数据仓库包括针对某相业务值（例如销售量）重新打上标签的业务流水数据。（所谓 “ 事实表 ” 、 “ 维度表 ” ）。

数据仓库概念兴许还包含报表生成工具（所谓 “BI” 工具）。这些工具能够达到几年前所谓 DSS （决策分析）的效果。

数据仓库的客户历史资量的分析，也许又与 CRM 系统粘点边。

总之，一点，一个公司想针对已有的历史业务数据，充分的利用它们，那么就上数据仓库项目。至于哪些吓唬人的大写字母的组合，只是达到这个目标的科学技术罢了。

牢记住数据仓库的基本需求，不要被供应商吓着。

数据仓库可以说是决策支持系统，能帮助老板了解企业的整体全貌，看到数据仓库提供的经过整理统计归纳的数据后老板凭自己的管理经验可以发现企业的问题或困难或成功因素在哪一方面，然后可以不断的追溯数据，直到确定到最具体的细节上，这样能够不断提升老板或管理层的管理水平，不断改善企业的管理。我们知道的最好的一个例子就是美国某大型超市啤酒和尿布的故事。

沃尔玛公司在美国的一位店面经理曾发现，每周，啤酒和尿布的销量都会有一次同比攀升，一时却搞不清是什么原因。后来，沃尔玛运用商业智能（ Business Intelligence ，简称ＢＩ）技术发现，购买这两种产品的顾客几乎都是 25 岁到 35 岁、家中有婴儿的男性，每次购买的时间均在周末。沃尔玛在对相关数据分析后得知，这些人习惯晚上边看球赛、边喝啤酒，边照顾孩子，为了图省事而使用一次性的尿布。得到这个结果后，沃尔玛决定把这两种商品摆放在一起，结果，这两种商品的销量都有了显著增加。

数据库是数据仓库的基础。数据仓库实际上也是由数据库的很多表组成的。需要把存放大量 *** 作性业务数据的数据库经过筛选、抽取、归纳、统计、转换到一个新的数据库中。然后再进行数据展现。老板关注的是数据展现的结果。

数据仓库 (DATA WAREHOUSE/DATA MART) 的另一重要概念是数据从不同的数据库 (DATABASES) 里调出经过 ETL 工具 ( 如 POWERCENTRE ， DECISIONSTREAM, SQL SERVER 2000 DTS, SQL SERVER 2005 SSIS) 过程进行清理，确证，整合并设计成多维 (dimensional framework) 。 以保证数据的正确、准确、完整 , 这是非常重要的一点。

我们现在的项目稳定运行了 6 年多，一直自己开发，最近慢慢开始使用 datastage 。很多大型项目之所以用工具，是因为工具的本身的特点是开发快，效率相对还可以，让你更好地有精力用在业务、数据库的优化以及数据测试上，和数据质量本身并没有关系。

而数据质量关系最密切的还是从设计（架构、模型等）、业务关系的理解、项目管理（含和客户的交流，以及遵从开发流程和测试流程）等一系列项目工程的过程。这也是为什么很多项目使用了 ETL 工具，但是数据质量还是提高不大的主要原因。

数据仓库的作用重在数据的集中管理。集中管理的最终目的是为了分析，预测。

所谓的 ETL 。不过是数据仓库的构建的一个必须过程。数据的抽取转换与装载，都是为了集中管理所做的基础工作，这些数据与动作的描述，都会有有响应的元数据进行描述。

在数据仓库建模的过程，我们一般都是采用多维模型，如星形，雪花型等等，这样做最大的特点就是效率高，数据的冗余度低。所以，把 OLAP 与数据仓库混为一谈我认为是片面的解释。

我们也可以选择业务逻辑模型建立数据仓库，这是很早以前的做法了，特点就是效率不高，数据的冗余度高，但他能实现非常难以表达的业务逻辑设计。

基于数据仓库最重要的是分析与预测，我认为，历史现在将来是数据仓库的精华。。

基于数据仓库的 DM ， OLAP 都是为了分析与预测。为了让使用企业单位更好的把握现在，预测将来，因此他最实效的说法我认为是给决策者与管理者进行决策管理提供分析与预测的依据。

另外，数据仓库还会起到历史数据分类归档的目的（就像图书馆一样），届时可以通过检索条件方便的查询历史信息；而同类信息在 OLTP 中早已被更新了。

至于它的分析功能，就象气象考古研究工作，在不同深度的冰川中保存着当时的气象信息，否则拿什么预测气候变化趋势呢！

不过，要有相当的管理及技术储备以及管理层的强力支持才可以。先有需求，并具备了必要条件才可上马，否则您的数据仓库将不是超市而是个垃圾堆， “garbage in ， then garbage out” ！

所以，我认为是企业信息化建设及科学管理水平的提高催生了数据仓库的必然产生，不要赶时髦，炒概念，关键还是冷静分析自己企业的现实状况是否到了必须部署数据仓库的阶段了！

至于如何说服管理者，则需要您的努力了，不要站在您技术人员的立场阐述问题， CEO 对技术问题不感兴趣，站在他们的角度考虑问题，回答诸如 “ 我们投入如此大的资金、人力，同时面对升级系统的巨大风险，目的何在？ ” 记住， CEO 和 CFO （甚至包括 CIO ）是更希望用数字说话的，您分析一下公司的管理决策流程，就可以向他们提出很有价值的决策支持报表，而部门经理（或类似人员）每季度也不必头大的制作相关分析报表了，节省的精力可以做更多有价值的事情，这就是企业人力资源利用率的巨大提升，可以节省多少银子，恐怕 CEO 不会用你提示了吧！

以上就是关于ODS的作用全部的内容，包括:ODS的作用、银行的数据仓库，ODS，历史库的区别和联系、什么是数据仓库，数据仓库如何分层等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！