
云计算不仅是技术,更是服务模式的创新。云计算之所以能够为用户带来更高的效率、灵活性和可扩展性,是基于对整个IT领域的变革,其技术和应用涉及硬件系统、软件系统、应用系统、运维管理、服务模式等各个方面。
IaaS(基础架构即服务)作为云计算的三大部分之一,将基础架构进行云化,从而更好的为应用系统的上线、部署和运维提供支撑,提升效率,降低 TCO。同时,由于IaaS包含各种类型的硬件和软件系统,因此在向云迁移过程中也面临前所未有的复杂性和挑战。那么,云基础架构包含哪些组件主要面临 哪些问题有哪些主要的解决方法呢
一、云基础架构
如图1所示,传统的IT部署架构是“烟囱式”的,或者叫做“专机专用”系统。
在这种架构中,新的应用系统上线的时候需要分析该应用系统的资源需求,确定基础架构所需的计算、存储、网络等设备规格和数量,这种部署模式主要存在的问题有以下两点:
硬件高配低用。考虑到应用系统未来3~5年的业务发展,以及业务突发的需求,为满足应用系统的性能、容量承载需求,往往在选择计算、存储和网络 等硬件设备的配置时会留有一定比例的余量。但硬件资源上线后,应用系统在一定时间内的负载并不会太高,使得较高配置的硬件设备利用率不高。
整合困难。用户在实际使用中也注意到了资源利用率不高的情形,当需要上线新的应用系统时,会优先考虑部署在既有的基础架构上。但因为不同的应用 系统所需的运行环境、对资源的抢占会有很大的差异,更重要的是考虑到可靠性、稳定性、运维管理问题,将新、旧应用系统整合在一套基础架构上的难度非常大, 更多的用户往往选择新增与应用系统配套的计算、存储和网络等硬件设备。
这种部署模式,造成了每套硬件与所承载应用系统的“专机专用”,多套硬件和应用系统构成了“烟囱式”部署架构,使得整体资源利用率不高,占用过多的机房空间和能源,随着应用系统的增多,IT资源的效率、扩展性、可管理性都面临很大的挑战。
云基础架构的引入有效解决了传统基础架构的问题(如图2所示)。
云基础架构在传统基础架构计算、存储、网络硬件层的基础上,增加了虚拟化层、云层:
虚拟化层:大多数云基础架构都广泛采用虚拟化技术,包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层,屏蔽了硬件层自身的差异和复杂度,向上呈现为标准化、可灵活扩展和收缩、d性的虚拟化资源池;
云层:对资源池进行调配、组合,根据应用系统的需要自动生成、扩展所需的硬件资源,将更多的应用系统通过流程化、自动化部署和管理,提升IT效率。
相对于传统基础架构,云基础架构通过虚拟化整合与自动化,应用系统共享基础架构资源池,实现高利用率、高可用性、低成本、低能耗,并且通过云平台层的自动化管理,实现快速部署、易于扩展、智能管理,帮助用户构建IaaS(基础架构即服务)云业务模式。
二、云基础架构融合
云基础架构资源池使得计算、存储、网络以及对应虚拟化单个产品和技术本身不再是核心,重要的是这些资源的整合,形成一个有机的、可灵活调度和扩展的资源池,面向云应用实现自动化的部署、监控、管理和运维。
云基础架构资源的整合,对计算、存储、网络虚拟化提出了新的挑战,并带动了一系列网络、虚拟化技术的变革。传统模式下,服务器、网络和存储是基 于物理设备连接的,因此,针对服务器、存储的访问控制、QoS带宽、流量监控等策略基于物理端口进行部署,管理界面清晰,并且设备及对应的策略是静态、固 定的。云基础架构模式下,服务器、网络、存储、安全采用了虚拟化技术,资源池使得设备及对应的策略是动态变化的(如图3所示)。
由于部署了虚拟化,一台独立的物理服务器变成了多个虚拟机,并且这些虚拟机是动态的,随着应用系统、数据中心环境的变化而迁移、增加、减少。例 如图3中的Server1,由于某种原因(例如Server1负载过高),其中的某个虚拟机VM1迁移到同一集群中的Server2。此时如果要保持 VM1的业务访问不会中断,需要实现VM1的访问策略能够从Port1随着迁移到Port2,这就需要交换机能够感知到虚拟机的状态变化,并自动更新迁移 前后端口上的策略。
这是一种简单的计算虚拟化与网络融合联动的例子。最新的EVB(以太网虚拟桥接)标准VEPA(虚拟以太网端口聚合,8021Qbg)即是实 现这种融合联动方案的技术标准,其包括了VDP虚拟机发现和关联、CDCP 虚拟机多通道转发等协议,通过标准化的主机与网络之间虚拟化信息的关联控制,实现虚拟化环境向物理环境的映射,使得虚拟机的服务变更可以通过网络的感知来 自动化响应。
事实上,云基础架构融合的关键在于网络。目前计算虚拟化、存储虚拟化的技术已经相对成熟并自成体系,但就整个IT基础架构来说,网络是将计算资 源池、存储资源池、用户连接组一起的纽带,只有网络能够充分感知到计算资源池、存储资源池和用户访问的动态变化,才能进行动态响应,维护网络连通性的同 时,保障网络策略的一致性。否则,通过人工干预和手工配置,会大大降低云基础架构的灵活性、可扩展性和可管理性。
三、云基础架构融合方案
如图4所示,云基础架构分为三个层次的融合。
硬件层的融合
例如上文提到的VEPA技术和方案,则是将计算虚拟化与网络设备和网络虚拟化进行融合,实现虚拟机与虚拟网络之间的关联。此外,还有FCoE技术和方案,将存储与网络进行融合;以及横向虚拟化、纵向虚拟化实现网络设备自身的融合。
业务层的融合
典型的方案是云安全解决方案。通过虚拟防火墙与虚拟机之间的融合,可以实现虚拟防火墙对虚拟机的感知、关联,确保虚拟机迁移、新增或减少时,防 火墙策略也能够自动关联。此外,还有虚拟机与LB负载均衡之间的联动。当业务突发资源不足时,传统方案需要人工发现虚拟机资源不足,再手工创建虚拟机,并 配置访问策略,响应速度很慢,而且非常的费时费力。通过自动探测某个业务虚拟机的用户访问和资源利用率情况,在业务突发时,自动按需增加相应数量的虚拟 机,与LB联动进行业务负载分担;同时,当业务突发减小时,可以自动减少相应数量的虚拟机,节省资源。不仅有效解决虚拟化环境中面临的业务突发问题,而且 大大提升了业务响应的效率和智能化。
管理层的融合
云基础架构通过虚拟化技术与管理层的融合,提升了IT系统的可靠性。例如,虚拟化平台可与网络管理、计算管理、存储管理联动,当设备出现故障影 响虚拟机业务时,可自动迁移虚拟机,保障业务正常访问;此外,对于设备正常、 *** 作系统正常、但某个业务系统无法访问的情况,虚拟化平台还可以与应用管理联 动,探测应用系统的状态,例如Web、APP、DB等响应速度,当某个应用无法正常提供访问时,自动重启虚拟机,恢复业务正常访问。
四、结束语
数据中心由传统基础架构向云基础架构的转变,极大提升了基础架构融合的必要性和可行性。通过资源池的云网融合,构建统一、融合、联动的基础架构系统,不仅提升了应用系统部署的可靠性、灵活性、可扩展性和可管理性,而且也促进了云计算的应用和实践。
目前人民检察院的信息化系统也将从传统的数据中心架构向云基础架构演进,满足检察院信息系统的快速批量部署、系统性能优化、降低管理维护工作量的需求,适应侦查信息化和装备现代化的科技强检需求,实现侦查方式战略转变、推动犯罪侦查工作和检务管理工作科学发展。
云计算系统已经在政府、教育、大企业、运营商等行业得到越来越多的成熟应用,涌现出一批国内外的具有完善解决方案的云基础架构供应商,包括华 三、VMware、微软、亚马逊等公司,尤其是国内的华三公司还可以提供集计算、存储、网络、虚拟化和云管理于一体的整体式交付的UIS统一基础架构系 统,可以显著简化检务云基础架构的部署和运维成本,而且凭借丰富的工程实施经验提供专业快捷的运维保障,将云基础架构系统的部署时间缩短70%以上。
其实超融合这一块,放在云计算IT基础设施里面,不算是完全合适。你说它是分布式存储,但是它同时又是硬件服务器与存储;你说它算硬件,但是它又离不开分布式存储软件。
传统的IT基础设施架构,主要分为网络、计算、存储三层架构。但随着云计算与分布式存储技术的发展以及x86服务器的标准化,逐渐出现了一种将计算、存储节点融合在一起的架构--超融合架构。超融合将三层的IT基础设施架构缩小变成了两层。
2019年11月的Gartner超融合产品魔力象限中,领导者象限有5家:Nutanix、DELL、VMware、CISCO、HPE。(其中DELL vxRail一体机里面用的分布式存储软件也是VMware的VSAN,而VMware提供的则是VSAN纯软件的解决方案)
Nutanix能够成为超融合领导者中的领导者,自然是经过市场的充分验证,得到市场的认可。而且由于其公开资料(Nutanix 圣经)比较齐备,因此我们可以通过Nutanix一窥超融合的究竟。
这边就不搬运了,可以直接搜索引擎搜索“Nutanix圣经”或“Nutanix-Bible”,可以找到相应的官方文档。
引用自NUTANIX圣经 -“Nutanix解决方案是一个融合了存储和计算资源于一体的解决方案。该方案是一个软硬件一体化平台,在2U空间中提供2或4个节点。
每个节点运行着hypervisor(支持ESXi, KVM, Hyper-V)和Nutanix控制器虚机(CVM)。Nutanix CVM中运行着Nutanix核心软件,服务于所有虚机和虚机对应的I/O *** 作。
得益于Intel VT-d(VM直接通路)技术,对于运行着VMware vSphere的Nutanix单元,SCSI控制(管理SSD和HDD设备)被直接传递到CVM。”
个人总结: 从以上官方文档可知,2U的空间可以安装2~4个Nutanix节点(每个节点相当于1台物理服务器),所以设备装机密度非常高。每个节点都安装着虚拟化软件,并且在虚拟化层之上再运行着一台Nutanix的控制虚机(CVM),该虚机主要负责不同的Nutanix节点之间控制平面的通信。单个节点中配置有SSD硬盘与HDD硬盘,替代磁盘阵列作为存储使用,单个节点有独立的CPU与内存,作为计算节点使用。
1、基础架构
以3个Nutanix节点为例,每个节点安装有Hypervisor,在Hypervisor之上运行着客户虚拟机,并且每个节点有一台Nutanix控制器虚机Controller VM,配置有2块SSD与4块HDD,通过SCSI Controller作读写。
2、数据保护
Nuntanix与传统磁盘阵列通过Raid、LVM等方式作数据保护不同,而是与一般的分布式存储一样,通过为数据建立副本,拷贝到其他Nutanix节点存放,来对数据进行保护,Nutanix将副本的数量称作RF(一般RF为2~3)。
当客户虚机写入数据“见图上1a)流程”,数据先写入到本地Nutanix节点的SSD硬盘中划分出来的OpLog逻辑区域(相当于Cache的作用),然后执行“1b)”流程,本地节点的CVM将数据从本地的SSD的OpLog拷贝到其他节点的SSD的OpLog,拷贝份数视RF而定。当其他节点CVM确定数据写入完成,会执行“1c”流程,给出应答写入完成。通过数据副本实现对数据的保护。
数据从SSD中的OpLog写入到SSD以及HDD的Extent Store区域,是按照一定的规则异步进行的,具体详见下面的部分。
3、存储分层
Nutanix数据写入以本地落盘为主要写入原则(核心原则)。
当客户虚机写入数据是,优先考虑写入本地SSD(如果SSD已用容量未达到阀值),如果本地SSD满了,会将本地SSD的最冷的数据,迁移到集群中其他节点的SSD,腾出本地SSD的空间,写入数据。本地落盘的原则,是为了尽量提高虚机访问存储数据的速度,使本地虚机不需要跨节点访问存储数据。(这点应该是与VSAN与其他分布式文件系统最大原理性区别)
当整个集群的SSD已用容量达到阀值(一般是75%),才会将每个节点的SSD数据迁移到该节点的HDD硬盘中。
SSD迁移数据到HDD,并非将所有数据全部迁移到HDD,而是对数据进行访问度冷热的排序,并且将访问较少的冷数据优先迁移到HDD硬盘中。
如SSD容量达到95%的利用率,则迁移20%的冷数据到HDD;如SSD容量达到80%,则默认迁移15%的冷数据到HDD。
4、数据读取与迁移
Nutanix圣经引用-“ <u style="text-decoration: none; border-bottom: 1px dashed grey;">I/O和数据的本地化(data locality),是Nutanix超融合平台强劲性能的关键所在。所有的读、写I/O请求都藉由VM的所在节点的本地CVM所响应处理。所以基本上不会出现虚机在一个节点,而需要访问的存储数据在另外一个物理节点的情况,VM的数据都将由本地的CVM及其所管理的本地磁盘提供服务。</u>
<u style="text-decoration: none; border-bottom: 1px dashed grey;">当VM由一个节点迁移至另一个节点时(或者发生HA切换),此VM的数据又将由现在所在节点中的本地CVM提供服务。当读取旧的数据(存储在之前节点的CVM中)时,I/O请求将通过本地CVM转发至远端CVM。所有的写I/O都将在本地CVM中完成。DFS检测到I/O请求落在其他节点时,将在后台自动将数据移动到本地节点中,从而让所有的读I/O由本地提供服务。数据仅在被读取到才进行搬迁,进而避免过大的网络压力。</u> ”
个人总结: 即一般虚机读写数据都是读本地节点的硬盘,如果本地节点硬盘没有该数据,会从其他节点先拷贝过来本地节点硬盘,再为本地虚机提供访问,而不是虚机直接访问其他节点。即要贯彻本地落盘的核心思想。
5、Nutanix解决方案的优缺点
Nutanix方案优点:
1) 本地落盘策略,确保虚机访问存储速度:虚机写入的数据都在本物理节点的磁盘上,避免跨节点存储访问,确保访问速度,减轻网络压力。
2) 采用SSD磁盘作为数据缓存,大幅提升IO性能:
见上表数据,从随机的读写来看,SSD的IO及带宽性能比SATA的性能提升了约1000倍。而结合Nutanix的本地落盘策略,虚机数据写入,仅有本地的2块SSD硬盘作为数据缓存负责写入数据。
但由于单块SSD硬盘的IO比传统阵列的SATA高出1000倍,IO性能大幅提升。(相当于要超过2000块SATA硬盘做Raid,才能提供近似的IO性能)。
3)永远优先写入SSD,确保高IO性能
数据写入HDD不参与,即使本地SSD容量满了会将冷数据迁移到集群其他节点SSD,然后还是SSD进行读写,确保高IO。后续异步将SSD冷数据迁移到HDD。
4)数据冷热分层存储
冷数据存放在HDD,热数据保留在SSD,确保热点数据高IO读取。
5)设备密度高,节省机房机架空间
2U可以配置4个节点,包含了存储与计算,比以往机架式/刀片服务器与磁盘阵列的解决方案节省了大量的空间。
Nutanix方案缺点:
1)本地落盘及SSD缓存方案确保了高IO,但是硬盘的带宽得不到保证。
传统磁盘阵列,多块SATA/SAS硬盘加入Raid组,数据写入的时候,将文件拆分为多个block,分布到各个硬盘中,同个Raid组的硬盘同时参与该文件的block的读写。通过多块硬盘的并行读写,从而提升IO与带宽性能。
而Nutanix的解决方案中,单个文件的读写遵循本地落盘的策略,因此不再对文件拆分到多块硬盘进行并行读写,而只有本地节点的SSD硬盘会对该文件进行写入。
虽然SSD硬盘的IO与带宽都是SATA/SAS的数百上千倍,但是SSD对比SATA/SAS硬盘在带宽上面只有2~3倍的速率提升,而传统Raid的方式,多块硬盘并行读写,虽然IO比不上SSD,但是带宽则比单块/两块SSD带宽高出很多。
因此Nutanix的解决方案适合用于高IO需求的业务类型,但是因为它的读写原理,则决定了它不合适低IO、高带宽的业务类型。
三)行业竞争对手对比:
VMWARE EVO RAIL软件包:VMware没有涉足硬件产品,但EVO: RAIL 软件捆绑包可供合格的 EVO: RAIL 合作伙伴使用。合作伙伴转而将硬件与集成的 EVO: RAIL 软件一起出售,并向客户提供所有硬件和软件支持。
而EVO:RAIL的核心,其实就是VSphere虚拟化软件+VSAN软件的打包。
但VSAN与Nutanix最大的一个区别,就是不必须完全遵循Nutanix的本地落盘的策略。可以通过设置条带系数,将本地虚机的数据读写设置为横跨多个节点的硬盘,默认条带系数为1,最大可设置为12个,即一个虚机的数据写入,可以同时采用12个节点的SSD硬盘并行读写。
通过这种方式,VSAN可以一定程度的弥补了Nutanix方案不适用于带宽要求高,IO要求低的业务类型的缺点。
但是这种横跨物理节点的访问流量,在虚机数量众多的情况下,肯定会给网络带来压力,网络带宽可能会成为另一个瓶颈。
其次VSAN可以集成在Hypervisor层,而不需要像Nutanix在Hypervisor上面运行一个控制虚机CVM。
再次,Nutanix支持KVM、Hyper-V、ESXI等多种Hypervisor,而VSAN仅支持自家的ESXI。
其他待补充:由于暂时未对VSAN进行实际部署测试,仅停留在对其原理的研究,因此,关于VSAN的部分待后续平台上线测试完成后继续补充。
相比传统FC SAN架构,超融合架构有了如下显著的变化:
不再使用专有的存储硬件和网络,而是使用标准和易于维护的 x86 服务器与万兆以太网交换机;
核心是分布式存储,每个服务器就是一个存储控制器,需要说明的是,其中每个节点都需要配置SSD盘作为缓存,缓存容量远大于传统存储的易失性内存,且多节点并发带来更强的聚合性能;
逻辑上看,存储不再是由RAID构成的不同存储空间,而是一个统一可d性扩展的存储池,并且具备更强的扩展能力;
分布式存储带来的另一个好处就是在统一的资源池内性能和容量都可以按需配置,而且数据可以自动均衡;
计算虚拟化和存储部署于同一服务器节点。
通过以上架构的对比我们看到,超融合架构的变革首先是分布式存储对传统存储的替代,其他更多的优势(例如基于x86服务器构建、并发与易于扩展)都是基于这种替代而带来的。
当然,分布式存储和虚拟化这种独有的部署模式,进一步简化了用户的 IT 架构,降低了使用成本和运维难度,这些价值也大大的加速了用户对分布式存储模式的接受。
以软件为核心,软件定义数据中心通用的x86节点融合了存储、计算、网络、虚拟化平台(hypervisor)分布式存储架构,通过增加节点的方式横向扩容高度自动化,部署、维护简便众多节点组成一个整体,统一管理分配资源
以上就是关于云计算基础架构全部的内容,包括:云计算基础架构、【理论研究】漫谈云计算IT基础设施05-超融合技术、超融合基础架构和传统IT基础架构相比,最大的优势是什么等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)