传统集中式数据利用高端硬件设备保证数据可靠性对吗

最佳回答：回答是：在一般情况下，传统集中式数据利用高端硬件设备保证数据可靠性对。3394

1. 传统集中式数据库面临的挑战

优势：

成熟稳定：经过近40年的发展，应用到了几乎所有的行业，已经被打磨的非常成熟稳定，生态很完善；

行业适配性强：适配不同行业的各种需求；

生态完善：拥有大量的ISV应用开发商和技术开发者，技术生态、产业生态和人才生态都很完善。

的差异

1. 数据库是核心的IT基础设施

在这里插入图片描述

• 互联网业务增长，带动核心系统升级

• 核心系统引入数据库分布式与云化改造，支撑横向平滑扩展

在这里插入图片描述

• 5G规模推广，带动IT系统升级

• 5G具备大带宽和超低延时等能力，需要数据库系统提升响应速度和并发能力

在这里插入图片描述

• 打造智慧政府

• 实现智慧政府为目标的“互联网+”业务构建，对于数据库的性能和扩展提出了更高的要求

2. 传统集中式数据库面临的挑战

2.1 传统数据库架构

在这里插入图片描述

2.2 优势

• 成熟稳定：经过近40年的发展，应用到各行各业，产品技术非常成熟稳定

• 行业适配性强：适配不同行业的各种需求

• 生态完善：拥有大量的ISV应用开发商和技术开发者，技术生态、产业生态和人才生态都很完善

2.3 劣势

成本高：自身软件售价高，同时依托于高端硬件，CAPEX和OPEX成本高昂

无法横向扩展：容量的提升只能依靠提升设备自身的性能（增加CPU/内存/硬盘，或从PC服务器升级为小型机等），一定能碰到单点的上限

3. 使用数据库中间件的分库分表方案依然有短板

在这里插入图片描述

• 使用通用的数据库，可以实现数据库线性的扩容；

• 数据库是单点数据库，数据库之间没有联系，不知道其他数据库的存在，依靠中间件完成需要跨库的事务；

• 数据库中间件连接各个数据库，实现分库分表。

3.1 优势

线性扩展：通过分库分表，可以快速实现数据库的水平扩展

技术成本低：不需要改造核心数据库引擎，或者只需要做很少的改造

3.2 劣势

跨库分布式事务：数据库核心引擎没有分布式能力，只能通过中间件来完成分布式处理，但中间件难以做到RPO=0，因此在遇到异常和故障时无法100%保证分布式事务的ACID能力

全局一致性：由于多个数据库服务器的时间戳不一致，因此很难保证多个库之间数据版本号的全局一致性

负载均衡：扩容和缩容时，底层数据库引擎无法在线调整数据分布规则，因此需要暂停业务并重新导数据，对业务和运维挑战很大

跨库复杂SQL：跨库的复杂SQL运算（比如多表做分片键无关的关联查询）只能在中间件完成，而中间件不具备分布式并行计算能力，最终会限制应用对SQL的使用，产生业务侵入性

4. 原生的分布式关系型数据库架构

在这里插入图片描述

4.1 优势

数据高可靠+服务高可用：多副本一致性协议Paxos的工业级实现，个别节点发生故障时保证数据零丢失（RPO=0）和服务快速恢复（RTO<30秒）

线性扩容：随着业务量增加进行扩容（比如线上促销期间），随着业务量减少进行缩容（比如促销后）

低成本：基于普通X86服务器保证高可用性，无需使用高端小型机和存储

全局一致性：支持分布式事务，确保全局一致性，支持分布式复杂查询灵活的部署方式：支持三中心、五中心、主备等多种部署模式

对业务透明：业务系统可以像使用单点数据库一样使用分布式数据库，业务迁移改造成本低

5. OceanBase和传统数据库的对比

传统集中式数据库 以OceanBase为代表的分布式数据库

产品架构 经典的“单点集中式”架构，采用“全共享（Share-Everything）”架构。构建于高端的硬件基础之上，比如IBM高端服务器和EMC高端存储设备等 原生的“分布式”数据库，采用业界最严格的Paxos分布式一致性协议基于普通PC硬件的设计，不需要高端硬件

数据可靠性和服务高可用性 利用高端硬件设备保证数据可靠性采用“主从复制”，主节点故障的情况下，会有数据损失（RPO>0）；不能自动恢复服务，服务恢复时间（RTO）通常以小时为单位计算 以普通PC硬件为基础，利用Paxos分布式一致性协议保证数据可靠性

主节点故障的情况下，Paxos可以保证数据无损（即RPO=0)，并且自动选举并恢复服务，服务恢复时间（RTO）在30秒以内

扩展性 数据存储只能在单点内实现纵向扩展，最终必然触达单点架构下的容量上限。计算节点通常无法扩展。少数模式下（如RAC，pureScale）可做计算节点扩展，但多个计算节点之间仍需访问单点共享存储，并且可扩展的计算节点数量有限 数据节点和计算节点均可以在MPP架构下实现水平扩展数据节点和计算节点均没有数量限制，在网络带宽足够的前提下，可以扩充至任意数目

应用场景 集中在企业客户（金融、电信、政企等）的核心系统，无法应付互联网业务场景，应用案例很少 支付宝核心、网商银行核心、阿里巴巴的众多业务，以及多家外部商业银行。逐渐迈向传统业务

使用成本 比较昂贵，需要支付高端基础硬件的费用、高昂的软件授权费用以及产品服务费用 相对较低，基于PC硬件的设计降低了硬件费用，软件授权费用和服务费用也有优势

6. 小结

传统集中式数据库经过近40年的发展，已经非常成熟。但在当前这个大数据的时代，传统数据库依然面临较多挑战，分布式数据库可以有效解决这些问题，是未来数据库发展的重点方向

1：传统数据库往往对硬件基础设施有较高要求，同时只能纵向扩展，无法横向扩展，容易达到性能上限；

2：分库分表虽然可以横向扩展了，但也有带来了不支持复杂SQL、较难保证分布式事务的ACID等新问题；

3：分布式数据库可以有效解决这些问题，应用可以像使用集中式数据库一样使用分布式数据库，分布式数据库具有低硬件成本、高可扩展性、高可用性等特性。

文章知识点与官方知识档案匹配

云原生入门技能树首页概览

8775 人正在系统学习中

点击

劣势：

数据库集群技术

1)提高数据库处理速度的技术

目前有四种提高数据库处理速度的办法：

◆提高磁盘速度：这包括RAID和其他磁盘文件分段的处理。主要的思想是提高磁盘的并发度（多个物理磁盘存放同一个文件）。尽管实现方法各不相同，但是它们最后的目的都是提供一个逻辑数据库的存储映象。我们要评价的六个系统都能有效地利用这些技术。由于ICX已经有最大的磁盘冗余度，RAID 磁盘系统的设置应该侧重于速度，而不是数据冗余。这样磁盘利用的效益就会提高。

◆ 分散数据的存放：主要思想是利用多个物理服务器来存放数据集的不同部分（一个数据库表格分散到多个服务器或者每个服务器分管几个内容不同的表格）。这些办法不但可以扩展数据集（数据集的可扩性），而且使得不同的服务器进行并行计算成为可能。例如，对于ORACLE的RAC来讲，由于它是共享磁盘的体系结构，你只需要简单地增加一个服务器节点，RAC就能自动地将这节点加入到它的集群服务中去。RAC会自动地将数据分配到这节点上，并且会将接下来的数据库访问自动分布到合适的物理服务器上，而不用修改应用程序。对于UDB来讲，因为它是非共享磁盘的体系结构，因此就必须手工修改数据的分区，MSCS和ASE也是同样的情况。MySQL也需要手工分区，并且是这几种数据库中支持分区的自动化程度最低的，也就是说，应用程序需要自己负责数据库的分布式访问。不管数据存放是如何实现的，分布式存放数据的缺点是对数据库的可用性有负面影响。任何一台服务器的损坏都会影响整个系统的可用性。但是，这是迄今为止各大数据库厂商能提供的业界最好的数据库集群技术了。ICX是一种基于中间件的数据库集群技术，它对客户端和数据库服务器都是透明的。因此，ICX可以用来集群几个数据库集群（一个逻辑数据库），也可以用于集群几个物理数据库服务器（来增强一个分管关键数据的物理服务器）。

◆ 对称多处理器系统：此技术的思想是利用多处理机硬件技术来提高数据库的处理速度。但是，除了ICX，所有其它的数据库集群技术只支持单一的可修改的逻辑数据库。绝大部分的数据库事务处理是磁盘密集型的，纯计算负荷很小的，对称多处器技术在数据库上的应用的实际收益是很有限的。这也说明了为什么实际应用中最多只用了四个CPU的原因。所有的基于数据库引擎的集群都支持这个技术，ICX对SMP技术是中性的，因为它能把多个数据库服务器集合在一起构成一个集群，也能将多个现存的数据库集群集合在一起，构成集群的集群。

◆ 交易处理负载均衡：此技术的思想是在保持数据集内容同步的前提下，将只读 *** 作分布到多个独立的服务器上运行。因为绝大多数的数据库 *** 作是浏览和查询,，如果我们能拥有多个内容同步的数据库服务器，交易负载均衡就具有最大的潜力（可以远远大于上面叙述的最多达四个处理器的对称多处理器系统）来提高数据库的处理速度，同时会具有非常高的数据可用性（真正达到5个9，即99.999%）。所有基于数据库引擎的集群系统都只支持一个逻辑数据库映象和一个逻辑或物理的备份。这个备份的主要目的是预防数据灾难。因此，备份里的数据只能通过复制机制来更新，应用程序是不能直接更新它的。利用备份数据进行交易负载均衡只适用于一些非常有限的应用，例如报表统计、数据挖掘以及其它非关键业务的应用。只有ICX能够做到同步复制多个数据库服务器从而达到在保持数据一直性前提下的真正的负载平衡。

上述所有技术在实际部署系统的时候可以混合使用以达到最佳效果。

2）提高数据库可用性的技术

根据物理法则，提高冗余度是提高数据库可用性的唯一途径。

提高数据库冗余度大致有四种方法：

◆ 硬件级的冗余：主要思想是让多处理机同时执行同样的任务用以屏蔽瞬时和永久的硬件错误。有两种具体的实现方法：构造特殊的冗余处理机和使用多个独立的数据库服务器。冗余处理机的造价昂贵，效益很低。实际应用日渐减少。基于数据库的集群系统都是用多个独立的数据库服务器来实现一个逻辑数据库，在任意瞬间，每台处理器运行的都是不同的任务。这种系统可以屏蔽单个或多个服务器的损坏，但是因为没有处理的冗余度，每次恢复的时间比较长，它们需要把被损坏的服务进程在不同的服务器上从新建立起来。ICX让多个独立的数据库服务器作同样的处理。发现处理器问题时的切换不需要重建进程的状态，所以故障屏蔽是极快的。

◆ 通讯链路级的冗余：冗余的通讯链路可以屏蔽瞬时和永久的通讯链路级的错误。基于数据库引擎的集群系统有两种结构：共享磁盘和独立磁盘。RAC, MSCS 和 MySQL CS可以认为是共享磁盘的集群系统。UDB和ASE 是独立磁盘的集群系统。共享磁盘集群系统对网络系统的要求很高，所以通讯的冗余度最小。独立磁盘集群系统可以把磁盘系统独立管理，通讯冗余度较高。 ICX的通讯链路级的冗余度最高，因为它使用的是多个独立的数据库服务器和独立的磁盘系统。 ICX也可以用于共享磁盘系统。 但是冗余度会相应降低。

◆ 软件级的冗余：由于现代 *** 作系统和数据库引擎的高度并发性，由竞争条件、死锁、以及时间相关引发的错误占据了非正常停机服务的绝大多数原因。采用多个冗余的运行数据库进程能屏蔽瞬时和永久的软件错误。基于数据库引擎的集群系统都用多个处理器来实现一个逻辑数据库，它们只能提供部分软件冗余，因为每一瞬间每个处理器执行的都是不同的任务。只有ICX可以提供最大程度的软件级冗余。

◆ 数据冗余：有两类冗余数据集。

被动更新数据集：所有目前的数据复制技术(同步或异步)，例如磁盘镜像（EMC的TimeFinder系列）、数据库文件复制（如DoubleTake, Veritas and Legato）以及数据库厂商自带的数据库备份工具都只能产生被动复制数据集。通常，为了实现复制功能，需要消耗掉主服务器5%（异步）到30%（同步）的处理能力。被动更新的数据一般只用于灾难恢复.被动更新数据集还有两个致命的问题：一旦主处理机故障造成数据损坏，被动更新的数据集也会被破坏。另外，和主动更新系统相比，被动更新系统对数据网络的带宽要求更高。这是因为它缺少交易的信息，很多数据复制是盲目的。

主动更新数据集：这种数据集需要一台（或多台）独立的备份数据库服务器来管理，由于这种数据集及时可用，它可以有多种用途，例如报表生成，数据挖掘，灾难恢复甚至低质量负载均衡。 同样地，这里也有同步和异步两种技术。

◆ 异步主动复制数据集：这种技术是先把事务处理交给主服务器来完成，然后这些事务处理再被串行地交给备份服务器以执行同样的 *** 作来保证数据的一致性。这种技术生成的数据集和主数据集有一个时间差，所以仅适用于灾难恢复、数据挖掘、报表统计以及有限的在线应用。所有的商用数据库都支持异步主动复制技术。这种办法的难度在于复制队列的管理上，这个队列是用来屏蔽主服务器和备份服务器之间的速度差异的。因为主服务器可以尽可能地利用所有软硬件的并发性来处理并发的事务，而备份服务器只能串行地复制，在高负荷事务处理的情况下，复制队列经常可能溢出。因为没有任何办法来控制事务处理请求的速度，在高负荷事务处理的情况下，复制队列只能经常性地重建。因为所有现代数据库系统都支持热备份和LOG SHIPPING。通过精心策划，应该可以实现不关闭主服务器而重建队列。ICX也支持异步主动复制. ICX的复制队列的重建是通过ICX的自动数据同步软件来完成的，所以不需要人工 *** 作。

◆ 同步主动复制数据集：这种技术要求所有的并发事务处理在所有的数据库服务器上同时完成。一个直接的好处就是没有了队列的管理问题，同时也可以通过负载均衡实现更高的性能和更高的可用性。这种技术也有两种完全不同的实现方法：完全串行化和动态串行化。完全串行化的事务处理来自于主数据库的事务处理引擎，RAC, UDB, MSCS (SQL Server 2005) 和 ASE是用完全串行化并结合两阶段提交协议来实现的，这种设计的目标就是为了获得一份可用于快速灾难恢复的数据集。这种系统有两个关键的问题。第一，两阶段提交协议是一种“ALL OR NOTHING”的协议。仔细研究两阶段提交协议后就能发现，为了获取这备份数据集，事务处理的可用性会降低一半。第二，完全串行化的做法又引进了主-从数据库服务器速度不匹配的问题。强制同步造成整个系统的速度被降低到完全串行化的水平。相反，ICX-UDS采用了动态串行复制引擎。这设计可以充分利用多个独立数据库的处理能力。ICX避免了使用两阶段提交协议，因此一个事务处理只有在集群中的所有服务器全都同时崩溃的情况下才会回滚。

为了防灾，必须使用远程网络。 所以我们在这里讨论远程数据复制的办法。这里大概有四种办法。

◆ 动态远程异步复制：这种办法是指主服务器通过远程网串行地把交易复制到备份服务器上。由于主-副之间的速度不匹配，队列管理的问题就很突出。 由于远程网的速度一般都比较慢，队列溢出的概率大大增加。所有的集群系统都支持这种复制办法，只是队列管理的办法不同而已。DM，FM和RAID都不能支持这种办法。RAID只能在局域网内工作。

◆ 动态远程同步复制.：这种办法是指主服务器通过远程网并行地把交易复制备份服务器上。只有ICX 具有这种能力。

◆ 静态远程异步复制.：这种办法是指通过远程网把数据串行地复制（不通过数据库服务器）到异地。DM和FM支持这种复制办法。因为串行处理和队列管理的关系，这对于处理量大的系统不适用。但是这种复制办法对应用是透明的，所有集群系统都可采用.

◆ 静态远程同步复制.：这种办法也是指通过远程网把数据串行地复制（不通过数据库服务器）到异地。不同的是，这里没有队列管理。取代队列管理的是发送端的一个新的协议：每次发送都要等接受端确认复制成功。否则回滚。DM和FM都支持这种复制办法。这种办法只能在短距离范围内工作， 大约5 英里光纤的样子。如果超出这个距离范围的话，显然事务处理回滚的概率就会很高。但是这种复制办法对应用是透明的，所有集群系统都可采用。

3）提高数据库安全和数据集可扩展的技术

在提高数据库安全性和数据集可扩性这两方面，可以创新的空间是很小的。数据库最常见的安全办法是口令保护，要么是分布式的，要么是集中式的。在数据库前面增加防火墙会增加额外的延迟，因此，尽管许多安全侵犯事件是来自于公司内部，但是数据库防火墙还是很少被采用。如果数据库集群技术是基于中间件技术实现的，就有可能在不增加额外延迟的情况下 ，在数据经过的路径上实现防火墙功能。ICX完全实现了这种思想。

数据库数据集的可扩性只能通过将数据分布到多个独立的物理服务器上来实现。为了弥补可用性的损失，ICX能被用来提高整个逻辑数据库或者部分重要服务器的处理速度，可用性和安全性。

较为出名的“去IOE”事件要追溯到去年5月份——阿里巴巴首先发动了“去IOE”运动。

IBM是服务器提供商，Oracle是数据库软件提供商，EMC则是存储设备提供商，三者构成了一个从软件到硬件的企业数据库系统。由这三驾马车构成的数据库系统几乎占领了全球大部分商用数据库系统市场份额。除阿里巴巴这样需要大量数据运算的电商企业，其他如石油、金融行业也广泛地使用这套系统。

具体来说，阿里巴巴的“去IOE”运动就是用成本更加低廉的软件——MYSQL替代Oracle，使用PC Server替代EMC2、IBM小型机等设备，以消除“IOE”对自己数据库系统的垄断。这一行动也被业内解读为低成本化——基于“IOE”在业内的垄断，整套系统维护费用非常昂贵，仅仅Oracle系统三年的销售价格就达到八位数，而阿里旗下的用户群每年都在增长，在应用云计算的过程中，“IOE”系统并不适合云服务横向扩展，也就是多个数据库系统同时运行，因此云服务一旦扩张，这部分维护成本将非常高。

今年5月17日，最后一台小型机在阿里巴巴支付宝下线，标志着阿里已经完成去IOE化。上海财大经济学院副教授、高等研究院市场机制设计和信息经济研究中心主任李玲芳对《第一财经日报》称，阿里巴巴的“去IOE”为市场带来了一个成功的范本，证明“去IOE”是有可能的。

除了降低成本，“去IOE”化还有信息安全的说法。前有“棱镜门”事件引起了信息安全的担忧，就在两天前的8月25日，中国互联网络信息中心(CNNIC)官方微博的通告称，CN域名遭遇了规模最大的一次攻击事件。而“IOE”都属于外资企业，因而去IOE化带有一定的保护网络安全意味。

---