什么是hdfs集群的主服务器是用来存放元数据的

什么是hdfs集群的主服务器是用来存放元数据的,第1张

名称节点是hdfs集群的主服务器是用来存放元数据的。名称节点主要以元数据的形式进行管理和存储,用于维护文件系统名称并管理客户端对文件的访问,名称节点记录对文件系统名称空间或其属性的任何更改 *** 作,HDFS负责整个数据集群的管理,并且在配置文件中可以设置备份数量,这些信息都由名称节点存储。

当然是在云服务器的硬盘里!
云服务器是云计算服务的重要组成部分,是面向各类互联网用户提供综合业务能力的服务平台。平台整合了传统意义上的互联网应用三大核心要素:计算、存储、网络,面向用户提供公用化的互联网基础设施服务。
云服务器服务包括两个核心产品:
面向中小企业用户与高端用户的云服务器租用服务;
面向大中型互联网用户的d性计算平台服务。
云服务器平台的每个集群节点被部署在互联网的骨干数据中心,可独立提供计算、存储、在线备份、托管、带宽等互联网基础设施服务。集群节点由以下硬件构成:
管理服务器:采取双机热备的方式,对整个节点的所有计算服务器、共享存储、网络进行管理,同时对外提供管理整个节点的API。管理服务器上提供:
管理服务(管理节点的计算服务器,对外提供管理接口)、DHCP 服务(为计算服务器的网络启动分配管理网段的IP)、tftp 服务(为计算服务器的网络启动提供远程启动映象)、nbd 服务(为计算服务器提供网络块设备服务)。管理服务器上还会运行一个数据采集程序,他定时将各种性能数据采集下来并发送到中央的数据采集服务器上存储服务器群:存储服务器可以是ISCSI 或内置存储容量比较大的x86 服务器,通过 集群文件系统组成一个统一的存储池,为节点内的虚拟机提供逻辑磁盘存储、非结构数据存储以及整合备份服务。
计算服务器群:计算服务器是高配置的八核以上服务器,计算服务器无需安装 *** 作系统,但必须具备网络引导功能,其上运行一个Linux微内核、云计算机软件、一个与管理服务器进行通讯的Agent
交换机:按不同功能和节点性能要求配备多个三层交换机,分别负责管理网段、公网交换网段、内部交换网段、存储网段等
分布式存储
技术原理:分布式存储用于将大量服务器整合为一台超级计算机,提供海量的数据存储和处理服务。分布式文件系统、分布式数据库允许访问共同存储资源,实现应用数据文件的IO共享。易迈云的云存储系统同时兼顾数据安全与IO问题。个别服务商保存3份数据以牺牲IO速度为代价,只有极低的IO速度,其他国内云厂商一般采用本机阵列存储,虽然IO快但是可靠性不高,本机硬件或存储损坏的情况下,业务中断时间较长。易迈互联创造性地解决了这个问题,通过高速的万M网络和极优的算法,既保证了数据安全也提供极优的磁盘读写速度。
资源调度
虚拟机可以突破单个物理机的限制,动态的资源调整与分配消除服务器及存储设备的单点故障,实现高可用性。当一个计算节点的主机需要维护时,可以将其上运行的虚拟机通过热迁移技术在不停机的情况下迁移至其他空闲节点,用户会毫无感觉。在计算节点物理损坏的情况也,也可以在3分钟左右将其业务迁移至其他节点运行,具有十分高的可靠性。
存储介质肯定还是硬盘了,2TB或者3TB的SATA硬盘目前还是主流。不过现在也有部分存储硬件提供商采用固态硬盘构建全闪存阵列,可以提供非常高的传输速度和非常高的随机I/O

通过相应介质和接口的线缆连接。
目前存储主要分两大类,NAS和SAN
对于NAS,直接用网线连接存储和服务器。
对于SAN ,由于有多种介质和接口,如FC,SAS,ISCSI,实际应用中,服务器端安装相应的HBA卡,用相应的线缆连接。
1,较早的存储,用scsi线缆连接服务器。
2,光纤接口的存储,使用FC线缆连接服务器的FC HBA卡
3,用sas线缆连接sas HBA卡。
4,用网线通过交换机连接服务器和存储,此时服务器需要iscsi hba卡或把网卡虚拟成hba卡。
在物理连接完成后,需要在存储控制台把空间映射到服务器hba卡wwn地址,然后就可以在服务器里使用该空间了,就像服务器添加了一块或多块物理硬盘。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zz/10653526.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-10
下一篇2023-05-10

发表评论

登录后才能评论

评论列表(0条)

    保存