磁盘管理里面有个容错和开销是什么意思

磁盘管理里面有个容错和开销是什么意思,第1张

容错:是否支持数据恢复,一块硬盘崩了可以从另一块硬盘上恢复
开销:为了提供容错能力,有多少空间是仅仅用来备份、而不被你存新数据的。
像简单卷和跨区卷是不提供这两者的(无容错,开销0%);带区卷(RAID0)虽然用了两块硬盘但其意义在于提高访问性能,也不提供容错且无开销(数据被存在两块硬盘上,但都是有效数据,无备份);镜像卷(RAID1)和RAID5卷提供了备份容错的功能,通常,镜像卷用一个硬盘给另一个备份,则两块中只有一块的数据有效,开销50%,RAID5采用奇偶校验,一块硬盘给两款硬盘提供了容错性,开销为1/3=33%。

这个要从多个方面去考察,比如国内领先的WeTrial-CTMS系统就做到了如下安全技术手段保证时系统的安全性:服务器安全保障、数据备份保障、数据加密保障、人为的管理手段以及法律手段,可以阐述如下:

1、 服务器安全保障

他们采用的是阿里云服务器,使用了云技术的服务器不容易彻底宕机,抗灾容错的能力强,可以保证系统长时间在线。数据和文档采用云存储技术,是分布式存储,数据永不丢失。他们的服务器对web服务器采取了负载均衡技术,保证系统能高效长时间稳定运行;文档服务器采用双机同步容错技术,所有文档保存了两份;数据库服务器采用了故障自动转移的高安全的镜像容错技术,确保数据库中的数据不丢失,还能长时间稳定运行。为防止万一的情况出现,他们是租用了阿里云北京、深圳两地的服务器,建立了两个环节,即使阿里云北京机房全部出现问题,他们还可以马上启用阿里云深圳机房的服务器,快速恢复数据和服务。

2、 数据备份保证数据安全

除了在服务器方面采用容错等技术保证数据安全以外,他们还制订了数据备份策略,由专门的技术人员使用专门的服务器按照备份策略及时进行数据的本地备份和异地保存,进一步确保数据的安全、不丢失。

3、 采用技术手段保证数据安全

整个系统采用域管理,可以对权限、用户、数据进行集中和层级管理,提高了安全性。数据库采用安全性等级达到C2级别的微软的SQL Server数据库系统,数据库中的某些关键数据(例如合同数据),他们已经进行加密存储。所有文档都采取了加密手段。服务器访问采用基于SSL的连接,每个用户都有独立的帐号和证书,可以有效的防止未授权用户和密码破解。采用监控服务器,对网络、资源、用户等进行全天候监控,并可以自动报警通知,及时发现外部非法访问。高性能防火墙,提供四到七层的DDoS攻击防护,防护类型包括CC、SYN flood、UDP flood等所有DDoS攻击方式;WEB攻击防护防火墙,能有效拦截SQL注入,XSS跨站等类型的WEB攻击。

4、 采用管理手段保证数据安全

对服务器的 *** 作必须使用专门的 *** 作电脑,需要多人同时在场才能进行,密码分开保管,在服务器上的任何 *** 作都留下痕迹(录屏),防止内部技术人员偷取数据。

5、 采用法律手段保证数据安全

包括内部技术人员保密协议,与机构签订保密协议,与阿里云签订保密协议。

主流应用的服务器容错技术有三类,它们分别是:服务器群集技术、双机热备份技术和单机容错技术。它们各自所对应的容错级别是从低到高的,也就是说服务器群集技术容错级别最低,而单机容错技术级别最高。由此可知它们各自应用的行业容错级别需求也是从低到高的。本文主要介绍后两种容错技术,先来看一下双机热备份容错技术。双机热备份技术是一种软硬件结合的较高容错应用方案。该方案是由两台服务器系统和一个外接共享磁盘阵列柜(也可没有,而是在各自的服务器中采取RAID卡)及相应的双机热备份软件组成。

在这个容错方案中, *** 作系统和应用程序安装在两台服务器的本地系统盘上,整个网络系统的数据是通过磁盘阵列集中管理和数据备份的。数据集中管理是通过双机热备份系统,将所有站点的数据直接从中央存储设备读取和存储,并由专业人员进行管理,极大地保护了数据的安全性和保密性。用户的数据存放在外接共享磁盘阵列中,在一台服务器出现故障时,备机主动替代主机工作,保证网络服务不间断。

双机热备份系统采用“心跳”方法保证主系统与备用系统的联系。所谓“心跳”,指的是主从系统之间相互按照一定的时间间隔发送通讯信号,表明各自系统当前的运行状态。一旦“心跳”信号表明主机系统发生故障,或者备用系统无法收到主机系统的“心跳”信号,则系统的高可用性管理软件认为主机系统发生故障,主机停止工作,并将系统资源转移到备用系统上,备用系统将替代主机发挥作用,以保证网络服务运行不间断。

双机热备份方案中,根据两台服务器的工作方式可以有三种不同的工作模式,即:双机热备模式、双机互备模式和双机双工模式。下面分别予以简单介绍。

双机热备模式即通常所说的active/standby方式,active服务器处于工作状态;而standby服务器处于监控准备状态,服务器数据包括数据库数据同时往两台或多台服务器写入(通常各服务器采用RAID磁盘阵列卡),保证数据的即时同步。当active服务器出现故障的时候,通过软件诊测或手工方式将standby机器激活,保证应用在短时间内完全恢复正常使用。典型应用在证券资金服务器或行情服务器,这是采用较多的一种模式,但由于另外一台服务器长期处于后备的状态,从计算资源方面考量,就存在一定的浪费。从上面的分析我们知道,双机热备份技术所采用的是两台配置完全一样的服务器系统,其实服务器群集方案中的容错技术也是一种多服务器容错技术。而本节所要介绍的单机容错技术则是在一台服务器实现高性能容错的,它的容错能力要远比服务器群集和双机热备份中容错能力要高,所以更加适合那些如证券、电信、金融、医疗等对容错能力特别苛刻的行业。

以往的集群系统在出现故障的情况下,需要中断服务器的运行,然后用一定的时间切换至备用的服务器上面进行运行,才能进行维修和恢复,这其中所付出的成本和带来的损失是用户最不愿意看到的。具有容错技术的容错服务器,最大的优势就在于它能够自动分离故障模块,在不中断运行的情况下,进行模块调换,对损坏的部件进行维护,并且在一切物理故障消除后,系统会自动重新同步运行,从而有效的解决了客户的后顾之忧。正因如此,具有容错技术的容错服务器,正在冲击前几年兴起的双机热备份和集群技术,越来越被人们所关注。同时,更为难得的是它可以在采用符合工业标准部件的服务器中实现(IA架构服务器),极具竞争力的成本优势,更使得容错服务器令人刮目相看。

容错服务器是通过CPU时钟锁频,通过对系统中所有硬件的备份,包括CPU、内存和I/O总线等的冗余备份;通过系统内所有冗余部件的同步运行,实现真正意义上的容错。系统任何部件的故障都不会造成系统停顿和数据丢失。很多容错系统是基于IA架构的服务器,与Windows2000完全兼容,实现以前只有在RISC系统上才能实现的容错。这种容错技术在IA服务器上的实现,将IA服务器的可靠性提高到了99999%,同时服务器的运行是不间断的。

双机热备份和容错服务器的定位稍微有些不同,这是由两者实现的可用性差别决定的。双机热备份一般可以实现999%的可用性,容错服务器却可以实现99999%的可用性。这样,双机热备份大多应用在业务连续性不是很严格的行业,比如说公安系统、部队系统或者个别的制造企业,这些行业的应用允许数据有一小段时间的中断。而如电信、金融、证券和医疗等要求高的行业则是容错服务器的天下。还要注意的一点是双机热备份与服务器群集并不一样,双机热备份通常要求两对路服务器的配置完全一样,而服务器群集则没有这方面的严格要求,这也是许多读者容易混淆的。

另外,双机热备份方式由于需要至少2台服务器,导致在软件采购( *** 作系统、中间件、双机备份软件等)、软件维护升级、系统硬件升级都需要比单机容错方式多1倍的额外投入,而且在双机备份软件出现故障后,其维修的难度较高,对客户会带来较大困难。因此虽然单机容错服务器的硬件成本高于双机备份方式的硬件投入,而其总成本(TCO)却远远低于双机备份方式的成本。但是就其灵活配置方面,双机热备份方案更具优势,许多热备份方案都是由一些系统集成商组合不同厂家服务器产品进行的,可以满足不同客户需求。但总体来说,容错服务器是未来发展的趋势。

怎么保护你在服务器里的数据呢?

第一,建立独立硬盘。它的空间利用率和读写速度都很高,但容错率是零,任何一块硬盘出错都会导致数据丢失。要想容错,就必须把ABCD都复制一份,分别存储在两个硬盘里,互为备份。这安全性最高。就算一块硬盘发生故障,数据依然完整,但代价就是牺牲了空间利用率和读取速度。

第二,组成复合阵列。如今的服务器大多都会选择阵列作为容错方案。同时,一旦某个硬盘出现故障,服务器就会自动激活空白硬盘,写入备份数据,进行恢复重建,这个过程叫热备份。

第三,准备紧急电源防止断电。更大的风险往往来自于服务器外部,比  故障导致三天之内所有玩家的游戏数据全部丢失,无法挽回,最终只能调取更早的备份数据,把游戏内容回档至事故发生之前,让所有玩家前功尽弃。

第四,进行冷备份。最简单的容灾方法是冷备份,也就是在拷贝数据后不接电也不联网,它的主要作用就是存档,以防万一。但不同存储介质的寿命不同,所以用冷备份容灾时,维持适宜的环境温度和湿度,避免服务器还没坏,冷备份就先报废了的情况。

第五,建立多个数据中心。相互连通,互相备份。目前常用的商用容灾方案是两地三中心加双活,也就是一处生产数据中心、一处同城灾备中心、一处异地灾备中心同时建设,并且保证至少两个数据中心同时处于运行状态。

对于金融服务公司而言,数据容灾方案能在关键时刻决定企业的生死存亡。当然了,并不是所有的互联网公司的服务器都有如此高级别的容错容灾能力,除了数据安全,服务器的容量、成本、运行效率也都是厂商们考虑的因素。

容错技术是容忍并防范局部错误的决策方法。是提高决策可靠性的重要方法之一。所谓容忍错误,就是认识到错误是客观存在的,不可避免的,因此,要把主要的精力放在防范错误的对策上。其主要内容有:(1)诊断技术,即在最短的时间内,也就是在错误还不致于造成重大损失之前,就发现并排除错误。(2)错误防范技术和错误影响弱化技术。(3)冗余技术,即用功能相近的若干决策方案或措施来代替单一方案,在原方案有效时,其余方案从表面上看是多余的,然而一旦原方案失效时,这些"多余"的方案就可自动依次接替原方案而维持决策实施的正常进行。
容错技术概况
容错FT(Fault Tolerant)技术一般利用冗余硬件交叉检测 *** 作结果。随着处理器速度的加快和价格的下跌而越来越多地转移到软件中。未来容错技术将完全在软件环境下完成,那时它和高可用性技术之间的差别也就随之消失了。
局域网的核心设备是服务器。用户不断从文件服务器中大量存取数据,文件服务器集中管理系统共享资源。但是如果文件服务器或文件服务器的硬盘出现故障,数据就会丢失,所以,我们在这里讲解的容错技术是针对服务器、服务器硬盘和供电系统的。
双重文件分配表和目录表技术
硬盘上的文件分配表和目录表存放着文件在硬盘上的位置和文件大小等信息,如果它们出现故障,数据就会丢失或误存到其他文件中。通过提供两份同样的文件分配表和目录表,把它们存放在不同的位置,一旦某份出现故障,系统将做出提示,从而达到容错的目的。
快速磁盘检修技术
这种方法是在把数据写入硬盘后,马上从硬盘中把刚写入的数据读出来与内存中的原始数据进行比较。如果出现错误,则利用在硬盘内开设的一个被称为"热定位重定区"的区,将硬盘坏区记录下来,并将已确定的在坏区中的数据用原始数据写入热定位重定区上。
磁盘镜像技术
磁盘镜像是在同一存储通道上装有成对的两个磁盘驱动器,分别驱动原盘和副盘,两个盘串行交替工作,当原盘发生故障时,副盘仍旧正常工作,从而保证了数据的正确性。
双工磁盘技术
它是在网络系统上建立起两套同样的且同步工作的文件服务器,如果其中一个出现故障,另一个将立即自动投入系统,接替发生故障的文件服务器的全部工作。
网络 *** 作系统具有完备的事务跟踪系统
这是针对数据库和多用户软件的需要而设计的,用以保证数据库和多用户应用软件在全部处理工作还没有结束时或工作站或服务器发生突然损坏的情况下,能够保持数据的一致。其工作方式是:对指定的事务( *** 作)要么一次完成,要么什么 *** 作也不进行。
UPS监控系统
UPS监控系统用于监控网络设备的供电系统,以防止供电系统电压波动或中断。
在工作中,我们选取的容错技术应根据实际情况而定(如资金,规模等)。

容错FT(Fault Tolerant)技术一般利用冗余硬件交叉检测 *** 作结果。随着处理器速度的加快和价格的下跌而越来越多地转移到软件中。未来容错技术将完全在软件环境下完成,那时它和高可用性技术之间的差别也就随之消失了。
局域网的核心设备是服务器。用户不断从文件服务器中大量存取数据,文件服务器集中管理系统共享资源。但是如果文件服务器或文件服务器的硬盘出现故障,数据就会丢失,所以,我们在这里讲解的容错技术是针对服务器、服务器硬盘和供电系统的。

41 高可靠性
⒋11 快速恢复
不管如何终止服务,MASTER和数据块服务器都会在几秒钟内恢复状态和运行。实际上,我们不对正常终止和不正常终止进行区分,服务器进程都会被切断而终止。客户机和其他的服务器会经历一个小小的中断,然后它们的特定请求超时,重新连接重启的服务器,重新请求。
⒋12 数据块备份
如上文所讨论的,每个数据块都会被备份到放到不同机架上的不同服务器上。对不同的名字空间,用户可以设置不同的备份级别。在数据块服务器掉线或是数据被破坏时,MASTER会按照需要来复制数据块。
⒋13 MASTER备份
为 确保可靠性,MASTER的状态、 *** 作记录和检查点都在多台机器上进行了备份。一个 *** 作只有在数据块服务器硬盘上刷新并被记录在MASTER和其备份的上 之后才算是成功的。如果MASTER或是硬盘失败,系统监视器会发现并通过改变域名启动它的一个备份机,而客户机则仅仅是使用规范的名称来访问,并不会发 现MASTER的改变。
42 数据完整性
每个数据块服务器都利用校验和来检验存储数据的完整性。原因:每个服务器随时都有发生崩溃的可能性,并且在两个服务器间比较数据块也是不现实的,同时,在两台服务器间拷贝数据并不能保证数据的一致性。
每个Chunk按64kB的大小分成块,每个块有32位的校验和,校验和和日志存储在一起,和用户数据分开。
在 读数据时,服务器首先检查与被读内容相关部分的校验和,因此,服务器不会传播错误的数据。如果所检查的内容和校验和不符,服务器就会给数据请求者返回一个 错误的信息,并把这个情况报告给MASTER。客户机就会读其他的服务器来获取数据,而MASTER则会从其他的拷贝来复制数据,等到一个新的拷贝完成 时,MASTER就会通知报告错误的服务器删除出错的数据块。
附加写数据时的校验和计算优化了,因为这是主要的写 *** 作。我们只是更新增加部分的校验和,即使末尾部分的校验和数据已被损坏而我们没有检查出来,新的校验和与数据会不相符,这种冲突在下次使用时将会被检查出来。
相反,如果是覆盖现有数据的写,在写以前,我们必须检查第一和最后一个数据块,然后才能执行写 *** 作,最后计算和记录校验和。如果我们在覆盖以前不先检查首位数据块,计算出的校验和则会因为没被覆盖的数据而产生错误。
在空闲时间,服务器会检查不活跃的数据块的校验和,这样可以检查出不经常读的数据的错误。一旦错误被检查出来,服务器会拷贝一个正确的数据块来代替错误的。
43 诊断工具
广 泛而细致的诊断日志以微小的代价换取了在问题隔离、诊断、性能分析方面起到了重大的作用。GFS服务器用日志来记录显著的事件(例如服务器停机和启动)和 远程的应答。远程日志记录机器之间的请求和应答,通过收集不同机器上的日志记录,并对它们进行分析恢复,我们可以完整地重现活动的场景,并用此来进行错误 分析。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zz/12651638.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2025-08-26
下一篇2025-08-26

发表评论

登录后才能评论

评论列表(0条)

    保存