
云计算(Cloud Computing)是
分布式计算(Distributed Computing)、
并行计算(Parallel Computing)、
效用计算(Utility Computing)、
网络存储(Network Storage Technologies)、
虚拟化(Virtualization)、
负载均衡(Load Balance)、
热备份冗余(High Available)等传统计算机和网络技术发展融合的产物。
主要体现在虚拟化及其标准化和自动化。
云存储是在云计算概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。
从软件看,VMware、微软的Hpyer-V、Citrix以及开源的KVM等是主要的虚拟化平台,是云计算的基础。Citrix的优势在桌面虚拟化和应用虚拟化。
至于云计算应用软件开发工具,并没有针对云计算、云存储的独特的编程语言。
许多人会将云计算与大数据联系起来,其实两者既有联系又有区别。云计算就是硬件资源的虚拟化,主要是一虚多,充分利用高性能的硬件资源;而大数据就是海量数据的高效处理,通常需要多合一、或多虚一,跨越多台硬件处理海量数据任务。Amazon是云计算应用领域的先驱,而Google则是大数据应用领域的先驱。大数据既可以采用以虚拟化为基础的云计算架构也可以基于高性能计算(HPC,集群技术、并行技术)来处理。
大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的 *** 作,到这里 *** 作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是 *** 作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。
因此,云计算、云存储均为计算资源的底层,通过虚拟化的方式提供“设备”级(或 *** 作系统级)的服务,用户可以方便地申请使用”设备“来独立地实现自己的任务(就好像给你一台服务器),而实际上在云上提供给你的是一台虚拟机,至于这台虚拟机运行在哪台硬件设备上,却不一定,甚至可以”无缝“漂移,硬件故障时几乎不影响用户使用。
基础架构即服务、平台即服务、软件即服务这三种服务类型。
基础架构即服务;该种服务类型位于云服务的底层,提供基本的计算、存储能力。云计算提供商拥有数以万计的服务器,用户可以通过互联网来“租用”这些服务器以满足自己的IT需求。这种服务类型就像我们所说的将IT资源像自来水一样提供给用户。采用这种方式,可以满足非IT企业对IT资源需求的同时而不需花费大量资金购置服务器和雇佣更多的IT人员,使他们可以将自己的主要精力放在自己的主业上。同时,这种云服务还使用自动化技术来根据用户的业务量自动分配合适的服务器数量,用户不必为自己业务的扩展或者收缩而考虑IT资源是否合适,同时用户不必担心IT设施的折旧问题,只需根据自己的服务器使用量交付月租金即可。平台即服务;平台即服务位于云计算的中间层,主要面向软件开发者或者软件开发商,提供基于互联网的软件开发测试平台。软件开发人员可以通过基于web等技术直接在云端编写自己的应用程序同时可以将自己的应用程序托管到这个平台上。例如google的App Engine就是一个可伸缩的web应用程序开发和托管平台,开发者可以在其平台上开发出自己的web程序并发布,这样开发者不需要担心自己的服务器能否承担未知的访问量,这样的平台无疑得到一些小型创业企业的青睐。另外,这样的云平台还提供大量的API或者中间件供程序开发者使用,这样大大的缩短了程序开发的周期,同时,程序代码存储在云端可以很方便联合开发。最重要的是用户不必担心自己发布的应用需要多少硬件支持,因为,云端可以满足一切。软件即服务;相信软件即服务大家一定不会陌生,几乎很多软件都有了web版,例如我们常见的飞信或者QQ等都有web版,通过web我们不必下载相应的软件既可以使用相应的服务,同时我们不必担心软件的更新和维护等问题。也许对于这样像QQ的小软件来说并不能体会到软件即服务的优势,但对于那些中小型的企业和他们需要的ERP、CRM等来说软件即服务是一种福音。首先,企业不必花费巨额资金购买软件的使用权,其次,企业也不必花费资金构建机房和雇佣人员,再次,企业也不必考虑机器折旧和软件升级维护的问题。
将基础设施作为服务的云计算服务类型是IaaS 。
IaaS(Infrastructure as a Service),即基础设施即服务。指把IT基础设施作为一种服务通过网络对外提供,并根据用户对资源的实际使用量或占用量进行计费的一种服务模式。在这种服务模型中,用户不用自己构建一个数据中心,而是通过租用的方式来使用基础设施服务,包括服务器、存储和网络等。在使用模式上,IaaS与传统的主机托管有相似之处,但是在服务的灵活性、扩展性和成本等方面IaaS具有很强的优势。
IaaS用虚拟化 *** 作系统、工作负载管理软件、硬件、网络和存储服务的形式交付计算资源。它也可以包括 *** 作系统和虚拟化技术到管理资源的交付。IaaS能够按需提供计算能力和存储服务。不是在传统的数据中心购买和安装所需的资源,而是根据公司需要,租用这些所需的资源。这种租赁模式可以部署在公司的防火墙之后或通过第三方服务提供商实现。虚拟化经常作为云计算的基础。虚拟化从物理底层交付环境中分离资源和服务。通过这种方法,你可以在单一的物理系统内创建多个虚拟系统。虚拟化的驱动因素来自服务器的合并,它可为组织提供效率和潜在成本的节约。
其实超融合这一块,放在云计算IT基础设施里面,不算是完全合适。你说它是分布式存储,但是它同时又是硬件服务器与存储;你说它算硬件,但是它又离不开分布式存储软件。
传统的IT基础设施架构,主要分为网络、计算、存储三层架构。但随着云计算与分布式存储技术的发展以及x86服务器的标准化,逐渐出现了一种将计算、存储节点融合在一起的架构--超融合架构。超融合将三层的IT基础设施架构缩小变成了两层。
2019年11月的Gartner超融合产品魔力象限中,领导者象限有5家:Nutanix、DELL、VMware、CISCO、HPE。(其中DELL vxRail一体机里面用的分布式存储软件也是VMware的VSAN,而VMware提供的则是VSAN纯软件的解决方案)
Nutanix能够成为超融合领导者中的领导者,自然是经过市场的充分验证,得到市场的认可。而且由于其公开资料(Nutanix 圣经)比较齐备,因此我们可以通过Nutanix一窥超融合的究竟。
这边就不搬运了,可以直接搜索引擎搜索“Nutanix圣经”或“Nutanix-Bible”,可以找到相应的官方文档。
引用自NUTANIX圣经 -“Nutanix解决方案是一个融合了存储和计算资源于一体的解决方案。该方案是一个软硬件一体化平台,在2U空间中提供2或4个节点。
每个节点运行着hypervisor(支持ESXi, KVM, Hyper-V)和Nutanix控制器虚机(CVM)。Nutanix CVM中运行着Nutanix核心软件,服务于所有虚机和虚机对应的I/O *** 作。
得益于Intel VT-d(VM直接通路)技术,对于运行着VMware vSphere的Nutanix单元,SCSI控制(管理SSD和HDD设备)被直接传递到CVM。”
个人总结: 从以上官方文档可知,2U的空间可以安装2~4个Nutanix节点(每个节点相当于1台物理服务器),所以设备装机密度非常高。每个节点都安装着虚拟化软件,并且在虚拟化层之上再运行着一台Nutanix的控制虚机(CVM),该虚机主要负责不同的Nutanix节点之间控制平面的通信。单个节点中配置有SSD硬盘与HDD硬盘,替代磁盘阵列作为存储使用,单个节点有独立的CPU与内存,作为计算节点使用。
1、基础架构
以3个Nutanix节点为例,每个节点安装有Hypervisor,在Hypervisor之上运行着客户虚拟机,并且每个节点有一台Nutanix控制器虚机Controller VM,配置有2块SSD与4块HDD,通过SCSI Controller作读写。
2、数据保护
Nuntanix与传统磁盘阵列通过Raid、LVM等方式作数据保护不同,而是与一般的分布式存储一样,通过为数据建立副本,拷贝到其他Nutanix节点存放,来对数据进行保护,Nutanix将副本的数量称作RF(一般RF为2~3)。
当客户虚机写入数据“见图上1a)流程”,数据先写入到本地Nutanix节点的SSD硬盘中划分出来的OpLog逻辑区域(相当于Cache的作用),然后执行“1b)”流程,本地节点的CVM将数据从本地的SSD的OpLog拷贝到其他节点的SSD的OpLog,拷贝份数视RF而定。当其他节点CVM确定数据写入完成,会执行“1c”流程,给出应答写入完成。通过数据副本实现对数据的保护。
数据从SSD中的OpLog写入到SSD以及HDD的Extent Store区域,是按照一定的规则异步进行的,具体详见下面的部分。
3、存储分层
Nutanix数据写入以本地落盘为主要写入原则(核心原则)。
当客户虚机写入数据是,优先考虑写入本地SSD(如果SSD已用容量未达到阀值),如果本地SSD满了,会将本地SSD的最冷的数据,迁移到集群中其他节点的SSD,腾出本地SSD的空间,写入数据。本地落盘的原则,是为了尽量提高虚机访问存储数据的速度,使本地虚机不需要跨节点访问存储数据。(这点应该是与VSAN与其他分布式文件系统最大原理性区别)
当整个集群的SSD已用容量达到阀值(一般是75%),才会将每个节点的SSD数据迁移到该节点的HDD硬盘中。
SSD迁移数据到HDD,并非将所有数据全部迁移到HDD,而是对数据进行访问度冷热的排序,并且将访问较少的冷数据优先迁移到HDD硬盘中。
如SSD容量达到95%的利用率,则迁移20%的冷数据到HDD;如SSD容量达到80%,则默认迁移15%的冷数据到HDD。
4、数据读取与迁移
Nutanix圣经引用-“ <u style="text-decoration: none; border-bottom: 1px dashed grey;">I/O和数据的本地化(data locality),是Nutanix超融合平台强劲性能的关键所在。所有的读、写I/O请求都藉由VM的所在节点的本地CVM所响应处理。所以基本上不会出现虚机在一个节点,而需要访问的存储数据在另外一个物理节点的情况,VM的数据都将由本地的CVM及其所管理的本地磁盘提供服务。</u>
<u style="text-decoration: none; border-bottom: 1px dashed grey;">当VM由一个节点迁移至另一个节点时(或者发生HA切换),此VM的数据又将由现在所在节点中的本地CVM提供服务。当读取旧的数据(存储在之前节点的CVM中)时,I/O请求将通过本地CVM转发至远端CVM。所有的写I/O都将在本地CVM中完成。DFS检测到I/O请求落在其他节点时,将在后台自动将数据移动到本地节点中,从而让所有的读I/O由本地提供服务。数据仅在被读取到才进行搬迁,进而避免过大的网络压力。</u> ”
个人总结: 即一般虚机读写数据都是读本地节点的硬盘,如果本地节点硬盘没有该数据,会从其他节点先拷贝过来本地节点硬盘,再为本地虚机提供访问,而不是虚机直接访问其他节点。即要贯彻本地落盘的核心思想。
5、Nutanix解决方案的优缺点
Nutanix方案优点:
1) 本地落盘策略,确保虚机访问存储速度:虚机写入的数据都在本物理节点的磁盘上,避免跨节点存储访问,确保访问速度,减轻网络压力。
2) 采用SSD磁盘作为数据缓存,大幅提升IO性能:
见上表数据,从随机的读写来看,SSD的IO及带宽性能比SATA的性能提升了约1000倍。而结合Nutanix的本地落盘策略,虚机数据写入,仅有本地的2块SSD硬盘作为数据缓存负责写入数据。
但由于单块SSD硬盘的IO比传统阵列的SATA高出1000倍,IO性能大幅提升。(相当于要超过2000块SATA硬盘做Raid,才能提供近似的IO性能)。
3)永远优先写入SSD,确保高IO性能
数据写入HDD不参与,即使本地SSD容量满了会将冷数据迁移到集群其他节点SSD,然后还是SSD进行读写,确保高IO。后续异步将SSD冷数据迁移到HDD。
4)数据冷热分层存储
冷数据存放在HDD,热数据保留在SSD,确保热点数据高IO读取。
5)设备密度高,节省机房机架空间
2U可以配置4个节点,包含了存储与计算,比以往机架式/刀片服务器与磁盘阵列的解决方案节省了大量的空间。
Nutanix方案缺点:
1)本地落盘及SSD缓存方案确保了高IO,但是硬盘的带宽得不到保证。
传统磁盘阵列,多块SATA/SAS硬盘加入Raid组,数据写入的时候,将文件拆分为多个block,分布到各个硬盘中,同个Raid组的硬盘同时参与该文件的block的读写。通过多块硬盘的并行读写,从而提升IO与带宽性能。
而Nutanix的解决方案中,单个文件的读写遵循本地落盘的策略,因此不再对文件拆分到多块硬盘进行并行读写,而只有本地节点的SSD硬盘会对该文件进行写入。
虽然SSD硬盘的IO与带宽都是SATA/SAS的数百上千倍,但是SSD对比SATA/SAS硬盘在带宽上面只有2~3倍的速率提升,而传统Raid的方式,多块硬盘并行读写,虽然IO比不上SSD,但是带宽则比单块/两块SSD带宽高出很多。
因此Nutanix的解决方案适合用于高IO需求的业务类型,但是因为它的读写原理,则决定了它不合适低IO、高带宽的业务类型。
三)行业竞争对手对比:
VMWARE EVO RAIL软件包:VMware没有涉足硬件产品,但EVO: RAIL 软件捆绑包可供合格的 EVO: RAIL 合作伙伴使用。合作伙伴转而将硬件与集成的 EVO: RAIL 软件一起出售,并向客户提供所有硬件和软件支持。
而EVO:RAIL的核心,其实就是VSphere虚拟化软件+VSAN软件的打包。
但VSAN与Nutanix最大的一个区别,就是不必须完全遵循Nutanix的本地落盘的策略。可以通过设置条带系数,将本地虚机的数据读写设置为横跨多个节点的硬盘,默认条带系数为1,最大可设置为12个,即一个虚机的数据写入,可以同时采用12个节点的SSD硬盘并行读写。
通过这种方式,VSAN可以一定程度的弥补了Nutanix方案不适用于带宽要求高,IO要求低的业务类型的缺点。
但是这种横跨物理节点的访问流量,在虚机数量众多的情况下,肯定会给网络带来压力,网络带宽可能会成为另一个瓶颈。
其次VSAN可以集成在Hypervisor层,而不需要像Nutanix在Hypervisor上面运行一个控制虚机CVM。
再次,Nutanix支持KVM、Hyper-V、ESXI等多种Hypervisor,而VSAN仅支持自家的ESXI。
其他待补充:由于暂时未对VSAN进行实际部署测试,仅停留在对其原理的研究,因此,关于VSAN的部分待后续平台上线测试完成后继续补充。
随着云技术的不断发展,越来越多的企业都开始通过大数据和云存储技术等方法来进行企业管理,下面北京IT培训就一起来了解一下在云存储方面都有哪些情况是需要我们掌握的。
云存储情况介绍云存储情况介绍
同时,451Research的报告也显示,“在大多数的地区和行业中,数据和容量增长仍然是困扰基础设施人员的要存储问题。而满足灾难恢复要求与高存储成本紧随之后排在所有问题中的二位”。当前,数据的增长和备份的需求不断地推高与存储相关的硬件与管理成本,为了应对这种情况,企业不得不去寻找那些可以帮助他们有效降低成本的方法,而这些方法通常会与云相关。
Cloudian2017年的混合云存储和应用趋势报告(Cloudian's2017HybridCloudStorageandAdoptionTrendsreport)显示,87%的受访企业表示他们正在使用云去进行一部分的数据存储。但是,他们所使用的大多数服务并不是那些企业级的大型云储存方案。云中主流的存储服务更多的是像Dropbox或Box这样的文件存储与共享服务。只有大约五分之一(21%)的企业应用了企业级的云存储服务。
云存储情况介绍云存储情况介绍
但是,尽管大多的企业仍旧没有使用云来存储他们主要的数据,不过分析人士认为,这种情况有望在不久的未来发生改变。根据IDC的数据,大企业对于云存储的使用是推动IaaS服务增长的主要推动因素,到2020年,整体市场的增速有望达到20%以上,而IaaS也将占到企业存储支出的三分之一以上。但尽管这是一个很大百分比,但同时也意味着仍旧有相当大量的企业数据保留在本地中,这增加了存储管理的难度。
通俗的理解是,云计算的“云“就是存在于互联网上的服务器集群上的资源,它包括硬件资源(服务器、存储器、CPU等)和软件资源(如应用软件、集成开发环境等),本地计算机只需要通过互联网发送一个需求信息,远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机,这样,本地计算机几乎不需要做什么,所有的处理都在云计算提供商所提供的计算机群来完成。
狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机,以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务,比如亚马逊数据仓库出租生意。
广义的云计算指厂商通过建立网络服务器集群,向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。广义的云计算包括了更多的厂商和服务类型,例如国内用友、金蝶等管理软件厂商推出的在线财务软件,谷歌发布的Google应用程序套装等。
应用:
1、云物联
“物联网就是物物相连的互联网”。这有两层意思:第一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;第二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信。
物联网的两种业务模式:MAI(M2M Application Integration), 内部MaaS;MaaS(M2M As A Service), MMO, Multi-Tenants(多租户模型)。
云计算:从计算中心到数据中心在物联网的初级阶段,PoP即可满足需求;在物联网高级阶段,可能出现MVNO/MMO营运商(国外已存在多年),需要虚拟化云计算技术,SOA等技术的结合实现互联网的泛在服务:TaaS (everyTHING As A Service)。
2、云安全
“云安全”通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,推送到Server端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。
扩展资料
云计算技术具有以下特点:
1、可靠性较强
云计算技术主要是通过冗余方式进行数据处理服务。在大量计算机机组存在的情况下,会让系统中所出现的错误越来越多,而通过采取冗余方式则能够降低错误出现的概率,同时保证了数据的可靠性。
2、服务性
从广义角度上来看,云计算本质上是一种数字化服务,同时这种服务较以往的计算机服务更具有便捷性,用户在不清楚云计算具体机制的情况下,就能够得到相应的服务。
3、可用性高
云计算技术具有很高的可用性。在储存上和计算能力上,云计算技术相比以往的计算机技术具有更高的服务质量,同时在节点检测上也能做到智能检测,在排除问题的同时不会对系统带来任何影响。
4、经济性
云计算平台的构建费用与超级计算机的构建费用相比要低很多,但是在性能上基本持平,这使得开发成本能够得到极大的节约。
5、多样性服务
用户在服务选择上将具有更大的空间,通过缴纳不同的费用来获取不同层次的服务。
6、编程便利性
云计算平台能够为用户提供良好的编程模型,用户可以根据自己的需要进行程序制作,这样便为用户提供了巨大的便利性,同时也节约了相应的开发资源。
参考资料百度百科-云计算
以上就是关于与云计算、云存储相关的IT技术都有哪些全部的内容,包括:与云计算、云存储相关的IT技术都有哪些、云计算可以提供的it资源、只租用云服务舱的硬件设施使用的是哪一类云计算服务等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)