
随着IT行业持续地灌输廉价存储的优势,企业较以往拥有者更多的数据,那么在评估大数据基础架构的过程中需要深入地调查哪些因素。本篇涉及到了在容量、延迟、访问性、安全性和成本这些重要因素的评估。
大数据发展的驱动因素
除了存储比以往更多的数据,我们所面临的数据种类也变得更加繁杂。这些数据源包括互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等。除了静态的数据增长方面,事务交易也会保持一个固定的数据“增长速度”。例如飞速增长的社交信息所产生的大量交易事务和记录。不过现有的不断扩大数据集无法确保能够为业务搜索出有价值的信息。
当今的信息是一项重要的生产因素
数据业已成为了一种生产资料,就如何资本、劳动力和原始材料那样,而且也不限于某一行业内的特定应用。企业中所有部门都旨在整合比较越来越多的数据集合,致力于降低成本、提升品质、增强生产能力以及开发新产品。举例来说,对于现场产品的直接数据分析有助于提升设计。又例如企业可以通过对用户习惯的深入分析,比较整体市场的增长特性,大幅提升自己在竞争分析方面的能力。
存储发展的必要性
大数据意味着数据的增长超过了其本身的基础架构,这驱动着应对这些特殊挑战的存储、网络和计算系统进一步的发展。软件应用需求最终推动了硬件功能的发展,同时在这种情况下,大数据分析的处理过程正在影响着数据存储基础架构的发展。这对于存储和IT基础架构企业而言是一项机遇。随着结构化和非结构化数据集的持续增长,这类数据的分析方式也更为多样化,当前的存储系统设计难以应对大数据基础架构所需。存储供应商已经开始推出基于数据块和基于文件的系统来应对许多这方面的需求。以下列出了一些大数据存储基础架构的特性,这些都是源自大数据的挑战。
容量。“大”在很多时候可以理解为PB级别的数据,因此大数据基础架构当然要能够可以扩展。不过其同样必须能够简易地完成扩展,以模块化或阵列的方式为用户直接增加容量,或者至少保持系统不会宕机。横向扩展式存储由于能够满足这种需求,变得十分流行。横向扩展集群体系架构的特征是由存储节点构成,每个节点具备处理能力和可连接性,可以无缝地扩展,避免传统系统可能产生的烟囱式存储的问题。
大数据还意味着大量的文件。管理元数据文件系统的累计会降低可扩展性并影响性能,用传统的NAS系统就会在这种情况下出现问题。基于对象的存储体系架构则通过另一种方式,支持在大数据存储系统中扩展至十亿级别的文件数量,而不会产生传统文件系统中会遇到的负载问题。基于对象的存储可以在不同的地理位置进行扩展,可以在多个不同地点扩展出大型的基础架构。
延迟。大数据基础架构中或许同样会包含实时性的组件,尤其是在网页交互或金融处理事务中。存储系统必须能够应对上述问题同时保持相应的性能,因为延迟可能产生过期数据。在这一领域,横向扩展式基础架构同样能够通过应用存储节点集群,随着容量扩展的同时增强处理能力和可连接性。基于对象的存储系统可能并发数据流,更大程度上改善吞吐量。
新IT(New IT),就是不同于传统IT的一种新型IT架构,可定义、自适应、随需而变、动态平衡是其特征。新IT让新业务的上线时间更加迅速,系统更加可靠稳定,运行维护更加智能简便。
传统IT和新IT对比
本质差异
传统IT的本质是信息技术。新IT的本质是智慧技术。
价值差异
传统IT的价值仅仅是支持传统商业效率提升工具。新IT的机制是颠覆传统商业逻辑、组织逻辑行政逻辑,建立新逻辑。
要素差异
传统IT的要素是网络、计算、存储、基础构架、 *** 作系统和系统软件。新IT的三要素是物联网、云计算和大数据。
开发差异
传统IT是细分产品品类进行技术创新。新IT是细分场景进行技术整合,整合创新。
交付差异
传统IT重视的是功能交付。新IT注重的是生态交付。实力差距传统IT着重硬实力,即研发能力、营销能力和供应链能力。新IT除硬实力外还着重软能力,即生态能力,以及是否能跟最终价值连接起来事半功倍的巧实力。
传统IT和新IT之间既不是严格的对立,也不是各自独立的平行发展。它们之间应该是对立统一,包容式的发展。首先需要共存,数据流动,打通资源。
新IT基础构架的核心要素
新网络(安全)、云计算和大数据是新IT基础构架的核心要素,此外还包括智能终端和物联网终端。如果进一步从新IT框架来解析的话,新IT基础构架是由标准化的底层加上抽象化的中间层构成,抽象化的中间层包裹标准化的物理层形成的新IT基础构架,支撑最上层的个性化应用。新IT基础构架提供商是华三通信的定位。
新网络核心特点
新网络核心特点是动态、安全、高品质,核心在于能够感知,使其虚拟化,变成标准的网络单元,并能够进行自动化的编排,就是软件定义网络(SDN)。
云计算特点
云计算特点在于“多态”而非绝对的单一形式。“多态”主要体现在3个方面:第一云可以是混合云,这种混合云可以是云与非云的混合,可以是不同的异构云的混合,可以是上级云和下级云的混合,也可以是私有云和公有云的混合,第二云本身的变化的,不同行业特征各不相同;第三云是流动的,数据之间的流动,多云之间的流动,私有公有云之间的流动。
大数据特点
大数据最终目的需要辅助决策,大数据的本质是大流动,而不是大集中。数据之间需要共享,只有共享数据才有价值。在数据交互平台之上,实现数据交换,数据共享,数据分析。
数字时代已然来临, 科技 企业面对的不仅是自身发展的问题,更多的是要向全产业赋能。尤其在国产化、自主创新浪潮全面掀起的背景下, 科技 企业不仅要坚持自立自强,保障国家经济、国防和其他产业安全,还要承担起推进全 社会 转型升级的 历史 使命。
华云数据是信创云计算专家,多年来华云数据为党政、金融、交通、医疗、教育、电信、电力和制造等各行业和领域用户提供信创云计算解决方案和服务,加快用户数字化、国产化转型进程。国内某大型电力建设工程公司就是其中之一。
传统IT架构困境
该电力建设工程公司集火电电站、水处理、节能、电站技改、新能源电站建设的工程设计、工程总包、施工建设、项目管理、运营服务为一体,是国内同时拥有电力设计院、锅炉制造厂、汽(电)机制造厂、电厂资源支撑的电力建设工程公司,广泛服务于电力、化工、煤矿、造纸、石化、市政和新能源等领域。
该电力建设工程公司的原机房设施简单,通过VMware服务器虚拟化,提供日常使用的OA、业务流程管理、加密系统等业务应用,提供文件共享服务;服务器虚拟化虽然提高了资源的利用率,但是在没有集中式存储的情况下,很难通过快速高效的方式解决单点故障的问题。
随着公司业务的增加,传统烟囱式的IT架构已经不能满足该电力建设工程公司前端快速的业务需求,存在容量、安全、备份等难题,急需引进新的架构和产品来打破这种僵局,让IT不再是整个业务运转的瓶颈。
IT架构全面升级
在本次项目中,华云数据针对该电力建设工程公司目前传统的IT架构进行升级改造需求,利用华云数据安超OS将烟囱式架构升级为超融合架构。
华云数据安超OS基于标准 X86商用硬件,通过软件定义的方式,提供计算虚拟化、存储虚拟化、网络虚拟化等功能。具有软硬件解耦、应用优化、支持混合业务负载等特点,能够为企业提供高性能、高可用、高效率及易于安装维护的IT基础设施平台,为政企用户提供数字化转型和国产化替代一站式服务。整体的解决方案如下:
新购超融合一体机服务器,部署基础超融合平台;
使用云迁移工具,将现有的业务系统平滑迁移至超融合环境内;
将原有单机虚拟化与超融合统一管理;
重新设计备份系统,实现本地热备+异地冷备的架构;
优化网络架构,实现本部与分公司、集团之间的互联互通。
助力用户重塑国产化IT底座
在华云数据的帮助下,该电力建设工程公司完成生产级别的IT基础架构整体升级,成功地将现有业务平滑无缝的迁移至超融合平台,稳定支撑该电力建设工程公司各业系统的运行。
此外,在升级IT基础架构的同时,华云数据也向该电力建设工程公司提供了专业的MSP服务,重新设计了该电力建设工程公司的网络架构和备份系统,优化了该电力建设工程公司本部和全国各地分公司互联,协助该电力建设工程公司从传统IT运维转向云运维,让其IT部门能够更多聚焦在业务层面。
总的来说,华云数据为该电力建设工程公司成果构建了新一代通用型超融合架构的IT基础设施平台,不仅提供高效率、高性能、高可用性、安全的企业级数据产品和服务,充分发挥其应用优化、线性扩展和简化管理的优势,高效地管理该电力建设工程公司的IT基础架构,还使资源利用率提升70%、总成本降低20%,大幅提升运营效率,稳定支撑该电力建设工程公司业务持续稳定运行。
此次项目的运作与交付,体现了华云数据扎实的技术实力与专业水准,为用户提供了专业化、标准化、规范化、体系化、流程化的运营管理服务。积极推动产业的可持续发展也凸显出华云数据投身于信创产业,肩负起时代发展的重任。
华云数据董事长、总裁许广彬表示,坚持自主创新,重塑国产化IT底座,不仅需要在完整的IT基础设施体系下进行全方位布局,还需要打造具有领先优势的核心产品。未来,华云数据将持续深入 探索 ,与更多合作伙伴一起携手打造产业数字化、国产化解决方案,推动更多政企用户实现高效率、低成本的高质量发展之路,为数字中国的发展提供助力。
#华云数据#
首先我觉得这个架构好处是实现原理简单,而且扩展性d性比起RISC架构来好处不言而喻但其实这个架构里面也存在着无谓的资源浪费可能性例如拿存储而言,目前Hadoop类的多副本分布式存储很火一份数据存三份,发现有数据损坏立即找空闲空间恢复听上去很简单很容易实现很高效,但如果你真的坐下来仔细算算账,你就会发现:
1 当你数据量不大(小于PB)的情况下这种一份数据存三份方式的成本其实比现有任何商业存储方案的成本都要高
2 这种方式下每台服务器的CPU利用率都很低,而现在市面上的大存储容量服务器,CPU配置都很高所以这种方式,基本上是对于CPU资源的一种浪费所以,或许对于数据量适中的企业来说,用EC CODE这种以计算能力换存储的分布式存储解决方案会比多副本方案更经济实惠
3 这种方式很容易让IT运维人员产生一种惯性思维 即要提高系统在线时间就多买些服务器就好了因为服务器多了分布性好了自然冗余度就高了于是不必要的服务器采购就这么产生了,每个数据中心也就又多了很大一笔不是很必要的电费开销
其次,我觉得分布式架构的某些故障很可能会产生连锁效应,导致更严重全局瘫痪打个比方,大家都知道赤壁之战的故事里面有个很著名的桥段就是庞统献连环计,铁锁连舟起始时使曹 *** 万余战船连成一体稳如平地进可攻退可守前后都可照应看似完美,但唯有一个命门就是怕火攻而诸葛亮周瑜正是利用这个命门,解东风火烧赤壁把曹 *** 百万大军杀的丢盔卸甲互联网的分布式架构其实我觉得也有类似命门大型机之所以那么贵,其实很多时候用户在为千万分之一甚至亿万分之一的万一买单而互联网,现在的公有云架构,在设计之初,基本的考虑思路是大用户,大并发,然后尽量减少TCO所以很多时候,设计架构时会先把那些千万分之一排除在外,暂时不予考虑而系统上线之后,稳定运行一段时间用户量,精力往往又会去专注扩容方面了搞不好就会把一些命门漏掉,于是乎万一正好遇上东风吹到了命门上,后果估计会比曹阿瞒更惨因为IT世界里还没有那么仁义的关云长会在华容道上放曹 *** 一马
最后,我想说互联网,云计算的业务类型其实和传统企业的业务类型不一样,所以大型机,系统处理的任务,运行的计算并不一定都适合移植到分布式系统架构上来还是以交通运输举例:我要去美国,目前还是只有飞机可以满足我的需求当然你可以说我坐动车也可以,无非是多转几趟跨国列车但那毕竟很勉强,速度不快,费时费力还不省钱,毫无意义人家直接飞过去就行了,你却要绕着太平洋海岸线跑一个大圈来兜,何必呢
那么以上这些问题有没有办法解决呢其实我觉得解决以上问题的关键就是两个字:运维分布式系统,要保障其安全可靠的运行,合理有效的扩容,关键不在系统的软硬件,而是在系统搭建之后的运维和持续的对系统的改进修正!现在网络上很多人都在热衷于各种开源架构如openstack,Hadoop的开发,应用场景探讨但个人以为这些开源系统的特点是搭建简单,维护艰难!要想把这些架构和技术真正投入企业成熟应用,在运维管理上投入的成本可能大得多因为这些系统架构更分散,出现的不可预估性更多,同时也更需要有人来理清何时用分布式架构,何种场景还是需要传统架构那么可能有人要问,既然如此,我们还有必要走分布式系统这条路吗当然有!原因也很简单:分布式架构给了我们处理海量请求的能力和应对突发事件的d性;同时分布式架构也使系统具备了更好的扩展能力和更多业务创新的可能性。
一、架构和资源管理模式对比
如下以SmartX 超融合产品为例,分别给出了下超融合架构和传统架构的部署区别和资源管理模式区别。
图1 传统架构和超融合架构的部署区别图2 传统架构和超融合架构的部署与资源管理模式区别
相比传统FC SAN架构,超融合架构有了如下显著的变化:
1不再使用专有的存储硬件和网络,而是使用标准和易于维护的 x86 服务器与万兆以太网交换机;
2核心是分布式存储,每个服务器就是一个存储控制器,需要说明的是,其中每个节点都需要配置SSD盘作为缓存,缓存容量远大于传统存储的易失性内存,且多节点并发带来更强的聚合性能;
3逻辑上看,存储不再是由RAID构成的不同存储空间,而是一个统一可d性扩展的存储池,并且具备更强的扩展能力;
4分布式存储带来的另一个好处就是在统一的资源池内性能和容量都可以按需配置,而且数据可以自动均衡;
5计算虚拟化和存储部署于同一服务器节点。
二、分布式存储 + 虚拟化融合部署才是超融合架构本质
对于超融合架构,由于其独特的名称,让很多用户存在一种误解:超融合架构的核心在于融合,因此融合的功能越多越好。但通过以上架构的对比我们看到,超融合架构的变革首先是分布式存储对传统存储的替代,其他更多的优势(例如基于x86服务器构建、并发与易于扩展)都是基于这种替代而带来的。
当然,分布式存储和虚拟化这种独有的部署模式,进一步简化了用户的 IT 架构,降低了使用成本和运维难度,这些价值也大大的加速了用户对分布式存储模式的接受。
三、超融合架构会为 IT 基础架构带来哪些提升?为什么?
不同产品的局部升级,超融合架构对IT基础架构带来的提升是全面的,以下将逐一解释。
1、有效提升可靠性
很多企业客户对于软件定义数据中心架构的一个常见误解:x86服务器构建的系统可靠吗?虽然 x86 服务器本身存在单点故障,但超融合本身是以集群方式工作的,而且其核心-分布式存储系统首先要解决的问题就是利用多副本等技术构建具备更高可靠性的大规模系统,这些技术都是构建软件定义数据中心的核心。
不仅如此,分布式存储相对比传统集中式存储在可靠性方面还有以下诸多优势,以下给出对比:
除此以外,SmartX 、 Nutanix 、 VMware 等厂商都提供了从 data checksum 到机架感知、双活、异地备份等特性在内的企业级存储服务,以及和第三方产品整合的企业级高可用和数据保护解决方案。
2、并发性能大幅提升,IO延迟降低
以下依旧以SMTX OS介绍为什么超融合架构可以提升性能并降低访问延迟。
其中,分布式架构提升了系统整体的聚合性能;SSD缓存机制提升了单节点访问性能;I/O本地化机制是超融合部署模式下才具备的优势,可以进一步降低访问延迟。需要注意的是, I/O 本地化主要是 SmartX 、 Nutanix 支持,基于 Ceph 等开源产品构建的超融合是不能支持的。
举一个具体的实际例子,由于双控成为瓶颈,HP 3PAR 8440 在8块SSD基本已经到底最大性能,但该读写性能仅使用4个 SmartX 超融合节点即可达到。
3、扩展性大幅提升
如前所述,超融合架构的核心分布式存储相对于传统存储在可扩展性上有了本质的提升,包括如下特点:
其中,异构节点支持需要和厂商确认,类似SmartX可以支持,但很多厂商不提供此类支持。
4、运维难度大幅降低
针对运维难度,我们可以针对整个运维的周期进行两种架构的对比:
从上图可以看出,超融合架构在整个产品运维周期中,不仅大量 *** 作被自动化,运维简单,而且时间短,效率高。可以有效降低人员要求,将 IT 人员解放出来进行更创新的活动。
5、采购成本和总拥有成本的降低
在客户最关注的成本方面,服务器+超融合软件(或超融合一体机)的采购成本,相比服务器加传统中高端存储,已有较大幅度的降低。但除了采购成本,超融合在总拥有成本上有更大的优势。
以上就是关于大数据基础架构发展需考虑的重要因素全部的内容,包括:大数据基础架构发展需考虑的重要因素、新IT与旧IT有什么区别、释放超融合实力 华云数据助力电力建设工程公司重塑IT基础架构等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)