磁盘阵列 和 分布式文件系统有什么区别

磁盘阵列 和 分布式文件系统有什么区别,第1张

磁盘阵列 和 分布式文件系统有什么区别

1、磁盘阵列(Redundant Arrays of Inexpensive Disks,RAID),有“价格便宜且多余的磁盘阵列”之意。原理是利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘,组合成一个大型的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。同时利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。磁盘阵列还能利用同位检查(Parity Check)的观念,在数组中任一颗硬盘故障时,仍可读出数据,在数据重构时,将数据经计算后重新置入新硬盘中。
2、分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器的双重角色。例如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就象使用本地驱动器一样,下面是三个基本的分布式文件系统。使用分布式文件系统可以轻松定位和管理网络中的共享资源、使用统一的命名路径完成对所需资源院的访问、提供可靠的负载平衡、与FRS(文件复制服务)联合在多台服务器之间提供冗余、与windows权限集成以保证安全。
3、综上所述,磁盘阵列主要是以冗余备份来保障文件安全和快速访问,一般以本机不同磁盘或局域网内磁盘组成,而分布式文件系统将广泛分布在本机、局域网和广域网上各个不同物理存储空间的数据以一定逻辑形式组成的文件系统,提供的服务更多的是起到索引(指向)的作用,而又不必耗费很大的部署资源,顺应了云计算的发展方向。

电脑磁盘阵列和非磁盘阵列有什么区别

简称RAID(Redundant Arrays of Inexpensive Disks,RAID),有“价格便宜且多余的
”之意。其原理是利用数组方式来作磁盘组,配
据分散排列的设计,提升数据的安全性。
主要针对硬盘,在容量及速度上,无法跟上CPU及内存的发展,提出改善方法。磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘,组合成一个大型的磁盘组,利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能。同时,在储存数据时,利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上

磁盘阵列和硬盘阵列有什么区别?

是一个意思,通常称廉价磁盘冗余陈列RAID(RedundanAr ray of Inexpensive Disk)

网络文件系统NFS与分布式文件系统DFS究竟有什么区别

NFS server可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端得NFS SERVER共享出来的档案MOUNT到自己的系统中,在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。 NFS协议从诞生到现在为止,已经有多个版本,如NFS V2(rfc1094),NFS V3(rfc1813)(最新的版本是V4(rfc3010)。 二、各NFS协议版本的主要区别 V3相对V2的主要区别: 1、文件尺寸 V2最大只支持32BIT的文件大小(4G),而NFS V3新增加了支持64BIT文件大小的技术。 2、文件传输尺寸 V3没有限定传输尺寸,V2最多只能设定为8k,可以使用-rsize and -wsize 来进行设定。 3、完整的信息返回 V3增加和完善了许多错误和成功信息的返回,对于服务器的设置和管理能带来很大好处。 4、增加了对TCP传输协议的支持 V2只提供了对UDP协议的支持,在一些高要求的网络环境中有很大限制,V3增加了对TCP协议的支持 5、异步写入特性 6、改进了SERVER的mount性能 7、有更好的I/O WRITES 性能。 9、更强网络运行效能,使得网络运作更为有效。 10、更强的灾难恢复功能

主板上的磁盘阵列和磁盘阵列盒有什么区别

磁盘阵列盒主要用于外部存储和备份用,如果你的主板不支持RAID可以通过阵列盒来实现,主要用于扩展。
如果主板支持RAID,弄两道3块硬盘自己做就可以了!
因为在主板上集成RAID芯片要比另外从外部设备上弄RAID芯片、框架、转换器等成本要低。

请问”磁盘阵列”和”存储系统”有什么区别和联系?

你好,我是做存储行业的,就我个人的理解说一下这两个概念吧,仅供参考。
首先要明确磁盘阵列的概念,磁盘阵列是一种存储介质,说白了它就是一个堆硬盘形成的一块大硬盘,通过做RAID实现并行读写并通过数据校验保证数据的正确性和安全性。
而存储系统是一个大概念,一个典型的存储系统会分为业务层、备份层、数据保护层和最终的归档层:
根据业务层的业务种类,决定了你所用到的存储类型,是使用基于文件系统的NAS存储,还是使用基于数据库块 *** 作的磁盘阵列;接下来在备份层结合备份软件,将业务数据备份到磁盘阵列或磁带中;在数据保护层中,将用到一些数据保护技术,如数据压缩、数据加密、重复数据删除等等;最后数据归档层中,将数据归档到磁带中。

磁盘阵列Rad 1和Rad 5有什么区别?

raid1追求安全不追求性能 只是个别的读取方面可能比单个盘性能要高 因为两个盘工作
raid0就是俩一起工作 读写性能容量都加倍 但是没安全措施
raid5就是raid0+raid1 又保证安全又保证性能

磁盘阵列和磁带库有什么区别?

磁带机
磁带机(Tape Drive)一般指单驱动器产品,通常由磁带驱动器和磁带构成,是一种经济、可靠、容量大、速度快的备份设备。这种产品采用高纠错能力编码技术和写后即读通道技术,可以大大提高数据备份的可靠性。根据装带方式的不同,一般分为手动装带磁带机和自动装带磁带机,即自动加载磁带机。
自动加载磁带机实际上是将磁带和磁带机有机结合组成的。自动加载磁带机是一个位于单机中的磁带驱动器和自动磁带更换装置,它可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器中,或执行相反的过程。它可以备份100GB-200GB或者更多的数据。自动加载磁带机能够支持例行备份过程,自动为每日的备份工作装载新的磁带。一个拥有工作组服务器的小公司可以使用自动加载磁带机来自动完成备份工作。
磁带库
磁带库是像自动加载磁带机一样的基于磁带的备份系统,它能够提供同样的基本自动备份和数据恢复功能,但同时具有更先进的技术特点。它的存储容量可达到数百PB(1pb=100万GB),可以实现连续备份、自动搜索磁带,也可以在驱动管理软件控制下实现智能恢复、实时监控和统计,整个数据存储备份过程完全摆脱了人工干涉。
磁盘阵列,简称盘阵,计算机行业使用的一种企业级存储系统。盘阵把多个磁盘组合成一个阵列,通过RAID和虚拟化等技术手段,作为一个单一的存储设备来使用。通过把数据分散在不同的物理磁盘中,盘阵可以减低数据的访问时间、提高访问速度;通过RAID等容错机制,它可以提高数据的安全性;另外,它还可以有效的利用磁盘空间。
要全面理解“磁盘阵列”,就还必须了解以下几个重要概念:
最大存储容量 是指磁盘阵列设备所能存储数据容量的极限,通俗的讲,就是磁盘阵列设备能够支持的最大硬盘数量乘以单个硬盘容量就是最大存储容量,其实这是个理论值。实际上这个数值还取决于所使用RAID(独立冗余磁盘整理)的级别,采用不同的RAID级别,有效的存储容量也就有所差别。通常,一般小型的磁盘阵列设备会支持几百GB的存储容量,适合中小型公司作为存储设备共享数据使用,而中高档的磁盘阵列设备应该支持T级别的容量(1TB = 1000GB)。
平均传输率 是指数据从磁盘阵列的硬盘里读出送到外部主机或其他地方的稳定速度,而不是突发速率,单位通常是Mb/s(兆位/秒)。这个数值取决于磁盘阵列所使用的外部主机通道和所用磁盘类型,通常使用SCSI硬盘作为阵列和FC(Fiber Channel)光纤主机通道的速率为最高,一般可达1000Mb/s以上。而采用IDE硬盘作为阵列的产品的速率就相对于较低,适合规模不大的用户群使用。
硬盘转速 是指硬盘内电机主轴的转动速度,单位是RPM(每分钟旋转次数)。其转速越高内部传输速率就越大。目前常见的IDE接口硬盘转速为5400RPM和7200RPM,而SCSI接口的硬盘的转速可达到10000RPM以上。如果是小型公司没有大量数据存储的话,用5400RPM或7200RPM的硬盘即可,而对于有大量数据要求的部门则最好选用高速SCSI硬盘,且具有热插拔的优点。
每台磁盘阵列设备都配备了一定数量的内存作为高速缓存使用,而且大多用户以后可以扩充。在磁盘阵列设备中,常见的内存类型由SDRAM(同步内存)、FLASH(闪存)等。不同的磁盘阵列产品出厂时配备的内存容量不同,一般为几十兆到数GB(1GB=1000MB)容量不等,这取决于磁盘阵列产品的应用范围,一般来讲,应用在小规模的局域网当中的磁盘阵列,如果只是应付几台设备的访问,64M以下内存容量即可。如果是上百个节点以上的访问,就得需要上G容量的内存。当然,这不是绝对的因素,磁盘阵列产品的综合性能发挥还取决于它的处理器能力、硬盘速度及其网络实际环境等因素的制约。总之,选购磁盘阵列产品时,应该综合考虑各个方面的性能参数。
MTBF,即平均无故障时间,英文全称是“Mean Time Beeen Failure”。是衡量一个产品(尤其是电器产品)的可靠性指标。单位为“小时”。它反映了产品的时间质量,是体现产品在规定时间内保持功能的一种能力。具体来说,是指相邻两次故障之间的平均工作时间,也称为平均故障间隔。它仅适用于可维修产品。同时也规定产品在总的使用阶段累计工作时间与故障次数的比值为MTBF。磁盘阵列产品一般MTBF不能低于50000小时。
磁盘阵列作为数据的存储设备,供网络用户使用,那么就需要磁盘阵列提供接口,和服务器主机或其他网络设备相连接,这个接口我们把它叫做主机通道或外接主机通道。现在大多数外接主机通道为Ultra2 SCSI和Ultra3 SCSI,部分产品由于和SAN(存储区域网络)连接具有FC(Fiber Channel光纤通道)接口。
通常,磁盘阵列有单主机通道磁盘阵列和多主机通道磁盘阵列之别: 单主机通道磁盘阵列只能接一台主机,多主机通道磁盘阵列可接多个主机系统,并同时使用,有很大的灵活扩充能力,可以群集(Cluster)的方式共用磁盘阵列。且大多数的阵列都支持73GB、36GB和18GB的硬盘,也有部分的阵列可以支持180GB的硬盘,并支持热插拔,其可支持的RAID级别有0、1(0+1)、3和5等。

分布式文件系统有哪些

GIT最有名了

磁盘阵列和双硬盘有什么区别

。。磁盘阵列原理是将硬盘数据按规则,同时写到两块或多块硬盘上保存(有RAID 0、1、5等模式),即相当硬盘并联同时协作工作,数据的读写速度相当叠加翻倍。这种模式下,每块硬盘中的数据都不是完整数据。双硬盘时,各自为独立工作状态,数据只保存在用户指定磁盘中,每次 *** 作都是单一磁盘速度。

sina

Bigtable 是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的PB 级的数据。Google 的很多项目使用Bigtable 存储数据,包括Web 索引、GoogleEarth、Google Finance。这些应用对Bigtable 提出的要求差异非常大,无论是在数据量上(从URL到网页到卫星图像)还是在响应速度上(从后端的批量处理到实时数据服务)。
Bigtable 已经实现了下面的几个目标:适用性广泛、可扩展、高性能和高可用性,Bigtable 是一个稀疏的、分布式的、持久化存储的多维度排序Map。

图一:一个存储Web 网页的例子的表的片断。行名是一个反向URL。contents 列族存放的是网页的内容,anchor 列族存放引用该网页的锚链接文本(alex 注:如果不知道HTML 的Anchor,请Google一把)。CNN 的主页被Sports Illustrater和MY-look 的主页引用,因此该行包含了名为“anchor:cnnsicom”和“anchhor:mylookca”的列。每个锚链接只有一个版本(alex 注:注意时间戳标识了列的版本,t9 和t8 分别标识了两个锚链接的版本);而contents 列则有三个版本,分别由时间戳t3,t5,和t6 标识。


Bigtable 通过行关键字的字典顺序来组织数据。表中的每个行都可以动态分区。每个分区叫做一个”Tablet”,Tablet 是数据分布和负载均衡调整的最小单位。

列族
Webtable 有个列族language,language 列族用来存放撰写网页的语言。
我们在language 列族中只使用一个列关键字,用来存放每个网页的语言标识ID。Webtable 中另一个有用的列族是anchor;这个列族的每一个列关键字代表一个锚链接,如图一所示。Anchor 列族的限定词是引用该网页的站点名;Anchor 列族每列的数据项存放的是链接文本。访问控制、磁盘和内存的使用统计都是在列族层面进行的。

时间戳
不同版本的数据通过时间戳来索引。Bigtable 时间戳的类型是64 位整型。
Bigtable 可以给时间戳赋值,用来表示精确到毫秒的“实时”时间;用户程序也可以给时间戳赋值。如果应用程序需要避免数据版本冲突,那么它必须自己生成具有唯一性的时间戳。数据项中,不同版本的数据按照时间戳倒序排序,即最新的数据排在最前面。为了减轻多个版本数据的管理负担,我们对每一个列族配有两个设置参数, Bigtable 通过这两个参数可以对废弃版本的数据自动进行垃圾收集。用户可以指定只保存最后n 个版本的数据,或者只保存“足够新”的版本的数据(比如,只保存最近7 天的内容写入的数据)。

Bigtable支持的其他特性
1、Bigtable 支持单行上的事务处理,利用这个功能,用户可以对存储在一个行关键字下的数据进行原子性的读-更新-写 *** 作。
2、Bigtable 允许把数据项用做整数计数器。
3、Bigtable 允许用户在服务器的地址空间内执行脚本程序
4、Bigtable 可以和MapReduce一起使用,MapReduce 是Google 开发的大规模并行计算框架。我们已经开发了一些Wrapper 类,通过使用这些Wrapper 类,Bigtable 可以作为MapReduce 框架的输入和输出。

Bigtable依赖于google的几项技术。用GFS来存储日志和数据文件;按SSTable文件格式存储数据;用Chubby管理元数据:
Bigtable是建立在其它的几个Google基础构件上的。BigTable 使用Google 的分布式文件系统(GFS)存储日志文件和数据文件。BigTable 集群通常运行在一个共享的机器池中,池中的机器还会运行其它的各种各样的分布式应用程序,BigTable 的进程经常要和其它应用的进程共享机器。BigTable 依赖集群管理系统来调度任务、管理共享的机器上的资源、处理机器的故障、以及监视机器的状态。
BigTable 内部存储数据的文件是Google SSTable 格式的。SSTable 是一个持久化的、排序的、不可更改的Map 结构,而Map 是一个key-value 映射的数据结构,key 和value 的值都是任意的Byte串,从内部看,SSTable 是一系列的数据块(通常每个块的大小是64KB,这个大小是可以配置的)。。SSTable 使用块索引(通常存储在SSTable 的最后)来定位数据块;在打开SSTable的时候,索引被加载到内存。每次查找都可以通过一次磁盘搜索完成:首先使用二分查找法在内存中的索引里找到数据块的位置,然后再从硬盘读取相应的数据块。也可以选择把整个SSTable 都放在内存中,这样就不必访问硬盘了。

BigTable 还依赖一个高可用的、序列化的分布式锁服务组件,叫做Chubby。Chubby有五个活跃副本,同时只有一个主副本提供服务,副本之间用Paxos算法维持一致性,Chubby提供了一个命名空间(包括一些目录和文件),每个目录和文件就是一个锁,Chubby的客户端必须和Chubby保持会话,客户端的会话若过期则会丢失所有的锁。

Bigtable 包括了三个主要的组件:链接到客户程序中的库、一个Master主服务器和多个Tablet片 服务器。
Bigtable会将表(table)进行分片,片(tablet)的大小维持在100-200MB范围,一旦超出范围就将分裂成更小的片,或者合并成更大的片。每个片服务器负责一定量的片,处理对其片的读写请求,以及片的分裂或合并。片服务器可以根据负载随时添加和删除。这里片服务器并不真实存储数据,而相当于一个连接Bigtable和GFS的代理,客户端的一些数据 *** 作都通过片服务器代理间接访问GFS。主服务器负责将片分配给片服务器,监控片服务器的添加和删除,平衡片服务器的负载,处理表和列族的创建等。注意,主服务器不存储任何片,不提供任何数据服务,也不提供片的定位信息。

客户端需要读写数据时,直接与片服务器联系。因为客户端并不需要从主服务器获取片的位置信息,所以大多数客户端从来不需要访问主服务器,主服务器的负载一般很轻。

Master 服务器主要负责以下工作:为Tablet 服务器分配Tablets、检测新加入的或者过期失效的Table 服务器、对Tablet 服务器进行负载均衡、以及对保存在GFS 上的文件进行垃圾收集。除此之外,它还处理对模式的相关修改 *** 作,例如建立表和列族。

我们使用一个三层的、类似B+树的结构存储Tablet 的位置信息。

第一层是一个存储在Chubby 中的文件,它包含了Root Tablet 的位置信息。这个Chubby文件属于Chubby服务的一部分,一旦Chubby不可用,就意味着丢失了root tablet的位置,整个Bigtable也就不可用了。
第二层是root tablet。root tablet其实是元数据表(METADATA table)的第一个分片,它保存着元数据表其它片的位置。root tablet很特别,为了保证树的深度不变,root tablet从不分裂。
第三层是其它的元数据片,它们和root tablet一起组成完整的元数据表。每个元数据片都包含了许多用户片的位置信息。

片的数据最终还是写到GFS里的,片在GFS里的物理形态就是若干个SSTable文件。下图展示了读写 *** 作基本情况。

BigTable和GFS的关系
集群包括主服务器和片服务器,主服务器负责将片分配给片服务器,而具体的数据服务则全权由片服务器负责。但是不要误以为片服务器真的存储了数据(除了内存中memtable的数据),数据的真实位置只有GFS才知道,主服务器将片分配给片服务器的意思应该是,片服务器获取了片的所有SSTable文件名,片服务器通过一些索引机制可以知道所需要的数据在哪个SSTable文件,然后从GFS中读取SSTable文件的数据,这个SSTable文件可能分布在好几台chunkserver上。
一个简化的Bigtable结构图:

结构图以Webtable表为例,表中存储了网易、百度和豆瓣的几个网页。当我们想查找百度贴吧昨天的网页内容,可以向Bigtable发出查询Webtable表的(combaidutieba, contents:, yesterday)。

假设客户端没有该缓存,那么Bigtable访问root tablet的片服务器,希望得到该网页所属的片的位置信息在哪个元数据片中。使用 METADATAWebtablecombaidutieba 为行键在root tablet中查找,定位到最后一个比它大的是 METADATAWebtablecombaidu>

(NFS)(Network File System)是个分布式的客户机/服务器文件系统。NFS的实质在于用户间计算机的共享。用户可以联结到共享计算机并像访问本地硬盘一样访问共享计算机上的文件。管理员可以建立远程系统上文件的访问,以至于用户感觉不到他们是在访问远程文件。
NFS是个到处可用和广泛实现的开放式系统。 允许用户象访问本地文件一样访问其他系统上的文件。提供对无盘工作站的支持以降低网络开销。
简化应用程序对远程文件的访问使得不需要因访问这些文件而调用特殊的过程。
使用一次一个服务请求以使系统能从已崩溃的服务器或工作站上恢复。
采用安全措施保护文件免遭偷窃与破坏。
使NFS协议可移植和简单,以便它们能在许多不同计算机上实现,包括低档的PC机。
大型计算机、小型计算机和文件服务器运行NFS时,都为多个用户提供了一个文件存储区。工作站只需要运行TCP/IP协议来访问这些系统和位于NFS存储区内的文件。工作站上的NFS通常由TCP/IP软件支持。对DOS用户,一个远程NFS文件存储区看起来是另一个磁盘驱动器盘符。对Macintosh用户,远程NFS文件存储区就是一个图标。 服务器目录共享 服务器广播或通知正在共享的目录,一个共享目录通常叫做出版或出口目录。有关共享目录和谁可访问它们的信息放在一个文件中,由 *** 作系统启动时读取。
客户机访问 在共享目录上建立一种链接和访问文件的过程叫做装联(mounting),用户将网络用作一条通信链路来访问远程文件系统。
NFS的一个重要组成是虚拟文件系统(VFS),它是应用程序与低层文件系统间的接口。 close文件关闭 *** 作
create 文件生成 *** 作
fsync将改变保存到文件中
getattr 取文件属性
link 用另一个名字访问一个文件
lookup 读目录项
mkdir建立新目录
open 文件打开 *** 作
rdwr 文件读写 *** 作
remove 删除一个文件
rename 文件改名
rmdir删除一目录
setattr 设置文件属性 Andrew File System(AFS)Andrew文件系统(AFS)
AFS是专门为在大型分布式环境中提供可靠的文件服务而设计的。它通过基于单元的结构生成一种可管理的分布式环境。一个单元是某个独立区域中文件服务器和客户机系统的集合,这个独立区域由特定的机构管理。通常代表一个组织的计算资源。用户可以和同一单元中其他用户方便地共享信息,他们也可以和其他单元内的用户共享信息,这取决于那些单元中的机构所授予的访问权限。
文件服务器进程 这个进程响应客户工作站对文件服务的请求,维护目录结构,监控文件和目录状态信息,检查用户的访问。
基本监察(BOS)服务器进程 这个进程运行于有BOS设定的服务器。它监控和管理运行其他服务的进程并可自动重启服务器进程,而不需人工帮助。
卷宗服务器进程 此进程处理与卷宗有关的文件系统 *** 作,如卷宗生成、移动、复制、备份和恢复。
卷宗定位服务器进程 该进程提供了对文件卷宗的位置透明性。即使卷宗被移动了,用户也能访问它而不需要知道卷宗移动了。
鉴别服务器进程 此进程通过授权和相互鉴别提供网络安全性。用一个“鉴别服务器”维护一个存有口令和加密密钥的鉴别数据库,此系统是基于Kerberos的。
保护服务器进程 此进程基于一个保护数据库中的访问信息,使用户和组获得对文件服务的访问权。
更新服务器进程 此进程将AFS的更新和任何配置文件传播到所有AFS服务器。
AFS还配有一套用于差错处理,系统备份和AFS分布式文件系统管理的实用工具程序。例如,SCOUT定期探查和收集AFS文件服务器的信息。信息在给定格式的屏幕上提供给管理员。设置多种阈值向管理者报告一些将发生的问题,如磁盘空间将用完等。另一个工具是USS,可创建基于带有字段常量模板的用户帐户。Ubik提供数据库复制和同步服务。一个复制的数据库是一个其信息放于多个位置的系统以便于本地用户更方便地访问这些数据信息。同步机制保证所有数据库的信息是一致的。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zz/12610403.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2025-08-26
下一篇2025-08-26

发表评论

登录后才能评论

评论列表(0条)

    保存