请问数据仓库都用什么建立

1、首先你得搞清楚建设数仓的目的是什么

是偏向于整合各系统数据，为数据分析决策服务，还是偏向于快速的完成分析决策需求？

如果是前者，那么在数据仓库建模的时候一般会选择ER建模方法；

如果是后者，一般会选择维度建模方法。

ER建模：即实体关系建模，由数据仓库之父BIll Inmon提出，核心思想是从全企业的高度去设计三范式模型，用实体关系描述企业服务。主张的是自上而下的架构，将不同的OLTP数据集中到面向主题的数据仓库中。

维度建模：由Kimball提出，核心思想是从分析决策的需求出发构建模型。这种模型由事实表和维表组成，即星型模型和雪花模型。Kimball倡导自下而上的架构，可以针对独立部门建立数据集市，再递增的构建，汇总成数据仓库。

2、其次你得进行深入的业务调研和数据调研

业务调研：深入的业务调研能使你更加明确数仓建设的目的；同时也利于后续的建模设计，随着调研的开展，如何将实体业务抽象为数仓模型会更加明朗。

数据调研：各部门或各科室的数据现状了解，包括数据分类、数据存储方式、数据量、具体的数据内容等等。这对后续的主数据串联或者维度一致性处理等等都是必须的基础。

3、然后是数据仓库工具选型

传统型数据仓库：一般会选择第三方厂家的数据库和配套ETL工具。因为有第三方支持，相对有保障；但缺点也很明显，受约束以及成本较高。

NoSQL型数据仓库：一般是基于hadoop生态的数据仓库。hadoop生态已经非常强大，可以找到各种开源组件去支持数据仓库。缺点是需要招聘专门人士去摸索，并且相对会存在一些未知隐患。

4、最后是设计与实施

设计：包括数据架构中的数据层次划分以及具体的模型设计；也包括程序架构中的数据质量管理、元数据管理、调度管理等；

实施：规范化的项目管理实施，但同时也需记住一点，数据仓库不是一个项目，它是一个过程。

1970 年，关系型数据库之父 EFCodd 发表《用于大型共享数据库的关系数据模型》论文，正式拉开数据库技术发展序幕。以 Oracle、DB2、SQL Server 为代表的三大商业数据库产品独占鳌头，随后涌现出 MySQL、PostgreSQL 等为代表的开源数据库 ，和以 Amazon RDS 等为代表的云数据库，拉开百花齐放的数据库新序幕。

我们知道，云计算十年为产业转型升级提供了 历史 性契机，但变革仍在进行，随着云计算的普及，数据库市场发生根本性改变，云厂商打破传统商业数据库的堡垒，成为数据库领域全新力量。其中以连续六年入选 Gartner 领导者象限的亚马逊云 科技 为代表，我们一起探讨：为什么亚马逊云 科技 能始终保持其创新性？纵观云原生时代下，亚马逊云 科技 数据库未来还有哪些更多的可能性？

01 面对四大数据库发展趋势，亚马逊云 科技 打造五大数据库理念

后疫情时代下，加速了不少行业的业务在线化和数字化运营，企业对数据价值挖掘的需求越发强烈，亚马逊云 科技 大中华区产品部总经理顾凡详细介绍其中四大趋势：

一是伴随互联网、移动互联网的发展，电商、视频、社交、出行等新应用场景的兴起，不仅数据量大，对数据实时性要求极高，传统关系型数据库无法满足需求，因此驱动云原生数据库的出现。

二是开源数据库的广泛应用。

三是应用程序现代化对数据库提出更高要求，期待数据库拥有更高的性能、可扩展性、可用性以及降低成本，让开发人员专注于核心业务的应用开发，不用关注和核心业务无关的代码。

四是软件架构历经 PC、互联网、移动互联网，再到如今的万物互联时代，其中的迭代和转型正在驱动数据库选型的变化。

在此四大趋势下，伴随企业的业务量越来越大、越来越复杂，对数据库的要求越来越高。亚马逊云 科技 洞察客户需求，在打造云上数据库产品时提出五大理念：

一是专库专用，极致性能；二是无服务器，敏捷创新；第三是全球架构，一键部署；第四是平滑迁移，加速上云；第五是 AI 赋能，深度集成。

02 历经真实锤炼，五大数据库理念，持续赋能企业数智转型

顾凡表示，随着数据爆炸式增长，微服务架构与 DevOps 愈发流行的今天，一个数据库打天下的时代已然过去。我们需要在不同的应用场景下，针对不同的数据类型和不同的数据访问特点，为开发者和企业提供专门构建的工具。

所以亚马逊云 科技 提出 第一个核心数据库理念：专库专用 。在此理念下，推出针对关系数据、键值数据、文档数据、内存数据、图数据、时许数据、分类账数据、宽列等专门构建数据库的产品家族。

这些数据库产品均经历过亚马逊内部核心业务的真实锤炼，成绩斐然：

亚马逊电商当年是 Oracle 的客户之一，随着亚马逊电商的应用重构和业务体量发展，亚马逊电商决定将业务迁移到亚马逊云 科技 里。100 多个团队参与这庞大的迁移工作中，将亚马逊电商采购、目录管理、订单执行、广告、财务系统、钱包、视频流等关键系统全部从 Oracle 迁出来。2019 年，亚马逊将存储近 7500 个Oracle 数据库中的 75 PB 内部数据迁移到多项亚马逊云 科技 的数据库服务中，包括 Amazon DynamoDB、Amazon Aurora、Amazon ElastiCache，于是亚马逊电商成为亚马逊云 科技 在全球的“第一大客户”。

从 Oracle 切换到亚马逊云 科技 后，亚马逊电商节省了 60% 成本，面向消费者端的应用程序延迟降低 40%，数据库管理支出减少 70%。

以被誉为“亚马逊云 科技 历史 上用户数量增速最快的云服务”Amazon Aurora 为例，其拥有科媲美高端商业数据库的速度和可用性，还拥有开源数据库的简单性与成本效益，Amazon Aurora 让客户满足“鱼和熊掌兼得”需求。

据顾凡介绍，Amazon Aurora 可提供 5 倍于标准 MySQL 性能，3 倍于 PostgreSQL 吞吐量。同时提供高可用，可用区（AZ）+1的高可用，Global Databases 可完成跨区域灾备。可扩展到 15 个只读副本，成本只有商业数据库的 1/10。

医药企业九州通为药厂、供应商，搭建药厂、供应商、消费者提供供应链链条。其 B2B 系统的业务特点是读多写少，受促销活动、工作时间等影响，经常会出现波峰波谷落差较大的情况，读写比例在 7：2 或者 8：3。九州通采用 Amazon Aurora 后实现读写分离和按需扩展，整体数据库性能提升 5 倍，TCO 降低 50%。实现了跨可用区部署、负载均衡、自动故障转移、精细监控、按需自动伸缩等。

据权威机构预测，到 2022 年，75% 数据库将被部署或迁移至云平台。在这个过程中，亚马逊云 科技 是如何通过技术来帮助客户加速应用上云的？这离不开除了上述的“专库专用”外，以下四大理念：

第二个理念是无服务器、敏捷创新。 亚马逊云 科技 大中华区产品部数据类产品高级经理王晓野表示，企业业务总有波峰波谷之时，如何按照企业 80-90% 的业务峰值来规划数据库的存储容量和计算资源的话，将给应用带来一定的业务连续性的妥协和挑战。因此大多数企业都是按照峰值留有余地来选择数据库的计算资源，这将造成成本上的浪费。而 Serverless 数据库服务可完成无差别的繁复工作和自动化扩展。

Amazon DynamoDB 是亚马逊云 科技 自研 Serverless 数据库，其诞生最早可追溯到 2004 年，当时亚马逊电商作为 Oracle 的客户，尽管对于关系型数据库在零售场景的需求并不频繁，70% 均是键值类 *** 作，此时倒逼亚马逊电商思考：为什么要把关系型数据库这么重得使用？我们可以设计一款支持读写、可横向扩展的分布式数据库吗？后来的故事大家都知道了，这款数据库就是 Amazon DynamoDB，并在 2007 年发表论文，掀起业界 NoSQL 分布式数据库技术创新大潮。

Amazon DynamoDB 可为大规模应用提供支持，支撑亚马逊自身多个高流量网站和系统，如亚马逊电商网站、亚马逊全球 442 个物流中心等。在亚马逊电商一年一度 Prime Day，光是针对DynamoDB API 的调用达到数万亿次，最高峰值请求达到每秒 8920 万次。由此可见，DynamoDB 拥有高吞吐、扩展性、一致性、可预测响应延迟、高可用等优势。

智能可穿戴设备厂商华米 科技 ，在全球 70 多个国家拥有近 1 亿用户。仅 2020 年上半年，其手表出货量超 174 万台，截止到 2021 年 2 月，华米 科技 的可穿戴设备累计记录步数是 151 万步，累计记录的睡眠时间是 128 亿个夜晚，记录心率总时长达 1208 亿个小时。如此庞大的数据同时必须保证极高的安全性和低延迟相应，如何保证稳定性是巨大的挑战。

DynamoDB 帮助华米 科技 在任何规模下都能提供延迟不超过 10 毫秒的一致响应时间。华米 科技 健康 云的 P0 和 P1 级别故障减少了约 30%，总体服务可用性提升了 025%，系统可用性指标达到 9999%，为华为 科技 全球化扩展提供了有力的支撑。

最新无服务数据库产品是 Amazon Aurora Serverless V2 提供瞬间扩展能力，真正把扩展能力发挥到极致，在不到一秒的时间内，将几百个事务扩展到数十万的级别。同时在扩展时每一次调整的增量都是非常精细化的去管理，如果按照峰值来规划数据库资源，可实现大概90%的成本节省。目前 Amazon Aurora Serverless V2 在全球实现预览。

第三个理念是全球架构、一键部署。 在全球化的今天，如何支撑全球客户的业务扩展连续性、一致性、以最低延迟带给到终端客户上，对数据库提出新的挑战。

亚马逊云 科技 提供 Amazon Aurora 关系型数据库Global Database、Amazon DynamoDB、Amazon ElastiCache 内存数据库、Amazon DocumentDB 文档数据库都能利用亚马逊云 科技 的骨干网络提供比互联网更稳定的网络支撑，以一键部署的方式，帮助客户实现几千公里跨区域数据库灾备，故障恢复大概能在一分钟之内完成，同时跨区域的数据复制延迟通常小于一秒。

第四个理念是平滑迁移、加速上云。 目前，450000+ 数据库通过亚马逊云 科技 数据库迁移服务迁移到亚马逊云 科技 中，这个数字每年都在不断增长。亚马逊云 科技 提供 Amazon DMS、Amazon Database Migration Service 等工具让开发者和企业进行自助式云迁移。另外，对于迁移过程中可能会需要的支持，可通过专业服务团队和合作伙伴网络成员，为客户提供专业支持，还通过 Database Freedom 项目帮助客户降低他们的顾虑。

今年 11 月，最新产品 Babelfish for Amazon Aurora PostgreSQL 在全球和中国两个区域正式可用，可加速企业上云的迁移，实现让企业可以利用原有的技术栈、原有的 SQL Server T-SQL的人员可以利用到云数据库进行创新。

第五个理念是 AI赋能，深度集成。 我们观察到，ML 技术赋能数据库开发者，开发者无需具备机器学习专业知识，就可进行机器学习 *** 作。在此潮流下，亚马逊云 科技 推出 Amazon Neptune，借由 Deep Graph Library 和 Amazon SageMaker 驱动图神经网络。

今年 8 月，Neptune ML 在中国正式可用，允许数据工程师不需要掌握机器学习的技能直接从图数据库里导出数据、转换格式、训练模型并发布，用 gremlin 语句调用训练成的模型在数据库里实现推理，进行欺诈检测，推荐物品。

目前，亚马逊云 科技 加速在中国区域服务落地，2021年至今新发布 60 多个数据库服务与功能。亚马逊云 科技 正是通过上述五大数据库理念，打造丰富的数据库产品家族，在全球智能化发展趋势下，为企业提供更快更好的数智服务，释放数据价值，并连续六年入选 Gartner 领导者象限，得到业界和客户的深度认可。

一、适用平台上的差异。

到目前为止，微软的SQLServer数据据库只支持微软的 *** 作系统。而DB2数据库不仅支持Windows *** 作系统，而且还支持Linux等开源 *** 作系统。也就是说，DB2具有很好的跨平台性能。现在很多企业中，都是以Linux或者Unix *** 作系统作为数据库服务器的。这主要是因为从安全性和稳定性上面Linux或者Unix *** 作系统都要比Windows *** 作系统略胜一筹。所以从这一点来说，DB2数据库就要比SQLServer数据库的应用面要广。

二、安全性上的差异。

对于数据库来说，特别是那些相互联网用户开发的数据库系统，安全性一直是左右数据库选型的主要因素。而在这个安全性上面，SQLServer数据库与DB2数据库之间有很大的差异。据笔者所知，SQLServer数据库到目前为止，没有取得任何国际上认可的安全证书。而对于DB2数据库来说，其已经获得了国际上最高级别的ISO标准认证。，虽然说证书不能够说明问题，但是至少说明DB2数据库的安全性也是有所保障的。微软在SQLServer数据库上安全投入的不足，让其无法适应互联网安全的威胁。为此这也让SQLServer数据库少了很多订单。

三、数据处理上的差异。

在数据处理的能力上，SQLServer数据库与DB2数据库也有很大的差异。SQLServer数据库虽然支持多用户，但是在大量并发访问的情况下，性能会显著下降。而DB2数据库可以说是专门为处理大量的并发访问所涉及的。在数据处理上，如果并发行访问比较少或者数据量并不是很大，那么DB2数据库与SQLServer数据库相比，并不会有很大的优势。甚至可能还是SQLServer数据库的性能比较好。但是如果涉及到海量数据的处理，如数据仓库或者企业级的应用，那么DB2数据库的性能就要远远超过SQLServer数据库。从这一点上来说，DB2数据库适合一些企业级的应用，而SQLServer数据库则因为价格相对便宜、维护相对简单，而比较适合中小企业使用。

四、在投资成本上的差异。

企业部署数据库应用时，所耗费的成本主要有三块，分别为硬件上的投资、数据库授权与人员的支出。在硬件上的投资，两个数据库没有多大的差异。但是在数据库的授权成本与人员的支出上，却有很大的差异。从数据库的授权成本上看，DB2数据库要比SQLServer数据库高的多。从人员的支出看，企业招募一个DB2数据库管理员要比招募一个SQLServer数据库管理员贵的多。这主要是因为DB2数据库管理员比较少，而且其往往需要同时维护多个分支机构的应用。所以DB2数据库管理员的价格就要比SQLServer的价格贵好几倍。所以说，从整体成本来看，企业部署DB2数据库要比采用SQLServer数据库贵许多。

可见DB2与SQLServer数据库各有优劣。企业需要根据自己的规模、对于安全性的考虑、性能上的要求以及可以接受的成本等多方面来进行权衡，才能够选择一个合适自己的数据库系统。

安华金和官网上看的一篇文章，希望对你有帮助。随着数据价值的不断提升，从政策到用户对于数据安全重视程度越来越高，数据库审计产品作为一款部署简单，不用对现有IT架构进行任何改变，又能够满足政策合规需求的产品，希望对在数据库审计产品的选型过程中对您有所帮助。

一、数据库审计产品选型的10大基本能力

如果要满足用户使用数据库审计产品的基本需求，必须满足以下条件：

1、审计记录全和准：保证审计的准确性、全面性、无漏审，实现数据库访问流量的全捕获；

2、高效入库：审计结果快速入库，要在高访问量压力下，审计结果入库无延迟、无丢包；

3、准确的关联审计：高并发情况下，能够审计到数据库 *** 作的应用用户；

4、高效分析：要能够对审计记录进行快速分析与检索，至少实现千万乃至亿级数据秒级响应；

5、高易用性：要符合用户的使用习惯，保障产品的易用性；

6、加密协议解析：随着通讯加密的普及，数据库审计产品必须要能够解析加密的数据库访问流量；

7、数据库入侵行为监测：数据价值的提升，造成了数据库攻击行为更加普遍，审计产品应提供针对数据库漏洞攻击的“检测”功能，并对这些漏洞攻击实时监控、有效记录，发现风险后及时告警，且能够有效追溯风险来源；

8、数据库异常行为监测：数据库访问行为异常时，系统可提供实时的告警能力，降低数据泄露的损失；

9、数据库违规行为监测：数据库审计产品还应具备针对数据库的违规访问、登录等行为检测告警的能力；

10、报表展现：数据库审计产品应具备将审计日志进行数据化分析并以个性化报表展示的能力，以便帮助安全管理人员更加便捷、深入的剖析数据库运行风险。例如：综合报表、合规性报表、专项报表、自定义报表等。

二、做标王，数据库审计还需要哪些更过硬实力

在具备了数据库审计产品的基本功能之外，一款好的数据库审计产品还应能够做到以下四点：

1、全面的审计元素：包括，表、函数、包、存储过程、视图、数据库登陆用户、客户端ip、端口、MAC、客户端 *** 作系统、用户名、客户端工具、影响行数、结果集、执行时间、 *** 作类型、长语句、大对象、mysql压缩协议、dblink、imp、exp、prepare参数等，这样才能保证审计结果的全面性；

2、精确SQL语句解析：采用句柄追踪\参数绑定追踪和基于词法和语法的精确SQL解析技术，可以实现在长SQL语句、高并发访问量时不丢包；在多SQL语句情况下，准确记录数据库语句是否执行成功；对于prepare语句，准确将参数值与原始语句和绑定变量关联；对SQL执行结果集进行准确追踪，从而准确记录SQL语句的影响行数，从而保证数据库审计结果的准确性；

3、应用审计视角下的4层应用框架结构：具备4级应用框架结构——应用请求、应用行为、应用模块、应用：

应用请求：访问源对某个指定的URL发起访问请求的流水记录；

应用行为：针对某类相同和相似的应用请求，去除参数化的URL模板（类似于SQL语句模板概念）；

应用模块：多个应用行为的组合，归属于一组功能模块的集合，对应应用服务器的功能菜单；

应用：以应用服务器IP+应用服务器端口+应用工程名定义的一个应用系统。

这种4级应用框架结构，可以有效保证数据库审计产品的应用关联准确性，从而提供完整的基于应用访问视角的综合性统计数据呈现和正向追溯能力，以及多角度的审计结果分析能力。

4、完整的风险匹配规则与多样化的告警方式：基于横向的黑白名单匹配规则以及黑白名单SQL语句，以及纵向的高中低等风险等级设置，实现准确的数据库访问风险行为匹配。snmp、syslog、短信、邮件等多样性的告警方式，保证数据库风险行为的实时告警，从而实现全面风险发现与及时告警。

这是我在安华金和官网上看到的一篇文章，觉得不错，推荐给你，他们家就有数据库审计产品，不明白的也可以再百度下。

以上就是关于请问数据仓库都用什么建立全部的内容，包括:请问数据仓库都用什么建立、五大数据库理念，读懂亚马逊云科技的数据库布局、DB2与SQLServer的区别(db2和mysql区别)等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！