数据级容灾备份,和应用级容灾备份有什么区别国内做得好的有哪几家备份厂家

数据级容灾备份,和应用级容灾备份有什么区别国内做得好的有哪几家备份厂家,第1张

用形象的方式来解释:

1、数据级容灾备份,就是把建立一个数据的备份系统,或者一个容灾系统。比如数据库,文件,等等。常用的方法是基于磁盘阵列的数据复制技术。厂家有EMC,HP等等。

2、应用级的容灾,建立一个应用的备份系统。比如一套OA系统,正在运行,在远程,再建立一套同样运行的OA系统,这就是一个应用级的容灾。关键技术是要实现数据实时传递,还要保证一致性,完整性,可用性。常用的方法有数据库的复制方式。厂家有 ORACEL,中科同向等等。

3、体系级容灾,再建立一整套体系,包括软硬件,团队。比如美国总统,副总统团队实时的备份。

目前存储海量数据的技术主要包括NoSQL、分布式文件系统、和传统关系型数据库。随着互联网行业不断的发展,产生的数据量越来越多,并且这些数据的特点是半结构化和非结构化,数据很可能是不精确的,易变的。这样传统关系型数据库就无法发挥它的优势。因此,目前互联网行业偏向于使用NoSQL和分布式文件系统来存储海量数据。

下面介绍下常用的NoSQL和分布式文件系统。

NoSQL

互联网行业常用的NoSQL有:HBase、MongoDB、Couchbase、LevelDB。

HBase是Apache Hadoop的子项目,理论依据为Google论文 Bigtable: A Distributed Storage System for Structured Data开发的。HBase适合存储半结构化或非结构化的数据。HBase的数据模型是稀疏的、分布式的、持久稳固的多维map。HBase也有行和列的概念,这是与RDBMS相同的地方,但却又不同。HBase底层采用HDFS作为文件系统,具有高可靠性、高性能。

MongoDB是一种支持高性能数据存储的开源文档型数据库。支持嵌入式数据模型以减少对数据库系统的I/O、利用索引实现快速查询,并且嵌入式文档和集合也支持索引,它复制能力被称作复制集(replica set),提供了自动的故障迁移和数据冗余。MongoDB的分片策略将数据分布在服务器集群上。

Couchbase这种NoSQL有三个重要的组件:Couchbase服务器、Couchbase Gateway、Couchbase Lite。Couchbase服务器,支持横向扩展,面向文档的数据库,支持键值 *** 作,类似于SQL查询和内置的全文搜索;Couchbase Gateway提供了用于RESTful和流式访问数据的应用层API。Couchbase Lite是一款面向移动设备和“边缘”系统的嵌入式数据库。Couchbase支持千万级海量数据存储

分布式文件系统

如果针对单个大文件,譬如超过100MB的文件,使用NoSQL存储就不适当了。使用分布式文件系统的优势在于,分布式文件系统隔离底层数据存储和分布的细节,展示给用户的是一个统一的逻辑视图。常用的分布式文件系统有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。

相比过去打电话、发短信、用彩铃的“老三样”,移动互联网的发展使得人们可以随时随地通过刷微博、看视频、微信聊天、浏览网页、地图导航、网上购物、外卖订餐等,这些业务的海量数据都构建在大规模网络云资源池之上。当14亿中国人把衣食住行搬上移动互联网的同时,也给网络云资源池带来巨大业务挑战。

首先,用户需求动态变化,传统业务流量主要是端到端模式,较为稳定;而互联网流量易受热点内容牵引,数据流量流向复杂和规模多变:比如双十一购物狂潮,电商平台订单创建峰值达到583万笔,要求通信网络提供高并发支持;又如优酷春节期间有超过23亿人次上网刷剧、抖音拜年短视频增长超10倍,需要通信网络能够灵活扩充带宽。面对用户动态多变的需求,通信网络需要具备快速洞察和响应用户需求的能力,提供高效、d性、智能的数据服务。

“随着通信网络管道十倍百倍加粗、节点数从千万级逐渐跃升至百亿千亿级,如何‘接得住、存得下’海量数据,成为网络云资源池建设面临的巨大考验”,李辉表示。一直以来,作为新数据存储首倡者和引领者,浪潮存储携手通信行业用户,不断 探索 提速通信网络云基础设施的各种姿势。

早在2018年,浪潮存储就参与了通信行业基础设施建设,四年内累计交付约5000套存储产品,涵盖全闪存储、高端存储、分布式存储等明星产品。其中在网络云建设中,浪潮存储已连续两年两次中标全球最大的NFV网络云项目,其中在网络云二期建设中,浪潮存储提供数千节点,为上层网元、应用提供高效数据服务。在最新的NFV三期项目中,浪潮存储也已中标。

能够与通信用户在网络云建设中多次握手,背后是浪潮存储的持续技术投入与创新。浪潮存储6年内投入超30亿研发经费,开发了业界首个“多合一”极简架构的浪潮并行融合存储系统。此存储系统能够统筹管理数千个节点,实现性能、容量线性扩展;同时基于浪潮iTurbo智能加速引擎的智能IO均衡、智能资源调度、智能元数据管理等功能,与自研NVMe SSD闪存盘进行系统级别联调优化,让百万级IO均衡落盘且路径更短,将存储系统性能发挥到极致。

“为了确保全球最大规模的网络云正常上线运行,我们联合用户对存储集群展开了长达数月的魔鬼测试”,浪潮存储工程师表示。网络云的IO以虚拟机数据和上层应用数据为主,浪潮按照每个存储集群支持15000台虚机进行配置,分别对单卷随机读写、顺序写、混合读写以及全系统随机读写的IO、带宽、时延等指标进行了360无死角测试,达到了通信用户提出的单卷、系统性能不低于4万和12万IOPS、时延小于3ms的要求,产品成熟度得到了验证。

以通信行业为例,2020年全国移动互联网接入流量1656亿GB,相当于中国14亿人每人消耗118GB数据;其中春节期间,移动互联网更是创下7天消耗36亿GB数据流量的记录,还“捎带”打了548亿分钟电话、发送212亿条短信……海量实时数据洪流,在网络云资源池(NFV)支撑下收放自如,其中分布式存储平台发挥了作用。如此样板工程,其巨大示范及拉动作用不言而喻。

周小希 陈安蜀 张良军 邓凡 王心华

(中国地质调查局天津地质调查中心)

摘要 地质资料是地质工作取得的重要信息资源,随着信息化建设的发展及社会对服务需求及服务质量的不断提升,通过建设地质资料数据中心,实现数据资源的集群化管理,服务系统集成及数据共享,提供多元化的服务,从而提升管理及服务水平是十分必要的。本文提出了华北大区地质资料数据中心设计方案,阐述了数据中心框架设计及采用的关键技术。

关键词 地质资料 数据中心 虚拟化

1 建设背景及定位

地质资料是地质工作取得的重要信息资源,是地质工作服务社会的主要载体,其作为社会信息的组成部分,已日益成为经济建设的重要信息资源。随着经济发展和社会信息化的全面推进,社会各界对生存环境、地质灾害、基本资源情况等地质知识与信息的需求日益增强。2006年1月发布的《国务院关于加强地质工作的决定》(以下简称《决定》)正式提出了“地质资料数据中心”概念。《决定》明确要求:“建立健全地质资料信息共享和社会服务体系,加快利用现代信息共享技术,建设国家地质资料数据中心”和“全面公开地质资料目录,向社会提供有效快捷的地质资料信息服务”。在信息化建设面临“挑战越来越严峻、需求越来越迫切”的新形势下,构建地质资料数据中心,实现信息资源的集群化管理,提供多元化的社会化应用服务,已成为当今国内外地质信息服务的主流。

天津地质调查中心作为华北地质资料管理和服务机构,在中国地质调查局地质信息共享服务体系中定位为区域性服务结点,主要负责集成整合区域内地质信息提供区域性地质信息的共享服务,建设并维护本区域地质信息服务平台,发布区域性地质调查成果服务产品。中心多年来积累了大量的华北地区地质资料数据资源及地质资料数据库,并开发建设了地质资料全文服务系统、空间数据服务系统及地质调查资料服务平台等服务系统。随着信息化建设的发展及社会对服务需求及服务质量的不断提升,通过构建华北地质资料数据中心,实现数据资源的集群化管理及数据共享,提供多元化的服务,从而提升管理及服务水平是十分必要的。

2 数据中心框架设计

华北地质资料数据中心的建设指导思想应以汇集、建立华北地质资料数据共享资源,坚持以需求为导向,从地质资料数据应用效益及现实情况出发,确定重点建设内容,注重数据共享应用。坚持采用现代信息技术中的先进成熟技术,保证系统的安全性、可靠性、可扩充性、易维护性及开放性。

数据中心系统设计参考原则:①先进性、标准性。采用先进成熟的技术和技术规范,保证系统稳定高效运行,选用符合国际标准的技术和产品,以保证系统的一致性。②经济型、实用性。选择适合的性价比高的设备,既能满足业务系统的应用需求,又能适应应用需求的扩展。③开放性。采用符合OSI(开放系统互联)标准的技术和通信协议,采用国际和国家标准的网络规范,并充分考虑与软硬件兼容性,使符合标准的不同厂商的商品可以无缝添加到数据中心中。④可扩展性。采用标准化的实现技术和产品,系统结构应易于扩展,使系统具有良好的可持续性及可扩展性。⑤结构的合理性。采用合理高效的系统结构,系统应能合理安排冗余和负载,实现有效流量控制和负载均衡,确保系统的正常、畅通运行,并能适应数据中心业务发展的需求。⑥高可靠性。关键节点设计中应选用高可靠性设备及产品,并有合理的冗余和可靠的系统备份策略,确保系统可靠运行。⑦高性能性。保障服务器、网络及设备的高吞吐能力,保证数据的高质量传输。⑧安全性。数据中心系统应具有足够的安全性,能够防止来自系统内部及外部的恶意攻击,能有效地防止因人为误 *** 作带来的影响。应采用有效的安全防范措施和安全手段,保证系统的完整性和机密性。应能提供有效的容灾、容错等保障机制,对雷击、火灾、盗窃等意外问题有良好的预防和恢复措施。

按照上述指导思想及设计原则,华北地质资料数据中心的总体框架设计采用4层结构:基础设施层、信息资源层、应用支撑层、应用层。另外还需要信息技术标准、安全防护、运维管理所组成的支撑体系予以支撑,保证数据中心运行及地质资料信息服务规范持续开展。数据中心框架设计图见图1。

图1 华北地质资料数据中心框架图

21 基础设施层

主要指数据中心运行的软硬件基础环境,包括机房设施、网络架构、服务器配置、系统软件配置等。机房环境具有防尘、防静电、防雷、防震、防火、恒温等特点,并可实现对视频设备、门禁、配电、温湿度、消防等进行管理和监控,机房供电采用双路电源冗余供电方式,同时采用市电、UPS电双电源并机供电形式,以满足机房设备双电源供电要求。从数据集成管理,满足多层次服务需求及信息安全角度考虑,数据中心网络划分为中心内网、涉密网、局广域网(地调局专网)及外网(互联网服务区),网络内部按逻辑功能划分为主功能区、核心存储备份区、涉密区、数据交换区、服务发布区5个功能逻辑分区。从信息数据安全角度出发,涉密区以物理隔离方式独立部署,其中主功能区、核心存储备份区及数据交换区部署在中心内网,服务发布区部署在互联网服务区,局广域网区域进行局属单位之间的数据交换,网络架构示意图见图2。数据中心在统一网络管理基础上,采用服务器虚拟化技术、负载均衡技术、统一交换技术(FCoE)及存储备份技术等建立起应用服务器与存储体系及信息安全防护体系。

图2 网络架构示意图

22 信息资源层

信息资源层主要包括数据中心的各类数据、数据库,负责整个数据中心的数据存储和交换,为数据中心提供统一的数据交换平台。中心地质资料数据已达到TB级别,从表现形式划分,包括成果资料、原始资料;从地质专业划分,包括区域地质、矿产地质、水文地质、工程地质、环境地质、地球物理、地球化学等;从数据形式划分,包括纸质档案、图文数字化资料、数据库、软件等;从共享方式划分,包括涉密数据、保护数据和公开数据。中心现存馆藏数据库包括华北地区数字地质图空间数据库、同位素地质测年数据库、地质工作程度数据库、区域地球化学数据库、1:20万自然重砂数据库、1:20万重力数据库、航磁数据库、矿产地数据库、专题图件空间数据库、华北平原地下水资源空间数据库等。

在信息资源层实现对中心各种地质数据及数据库进行集成管理,在数据中心内网核心存储备份区建立核心数据库。另外在局广域网及外网建立交换数据库,根据业务及服务需求,通过建立数据更新机制及数据更新同步工具在数据交换区完成从内网到局广域网、外网的数据交换。

23 应用支撑层

应用支撑层构建应用层所需要的各种服务组件及数据交换平台,包括地质资料数据管理、数据交换、元数据管理、数据分析、GIS资源服务发布、GIS空间分析、全文检索等其他业务支撑服务组件。

24 应用层

应用层为数据中心定制开发的应用系统,按照地质资料数据管理及服务需求,在数据中心内网建设中心地质资料数据管理系统实现对馆藏成果地质资料、原始地质资料数据资源的统一管理,在内网建设华北地质资料阅览室系统及借阅系统,实现地质资料内部浏览及借阅业务处理,在外网部署华北地质资料服务平台作为华北地质资料对外服务一站式窗口,在互联网上面向社会提供地质资料目录查询、地质资料全文服务、空间地质数据服务。

3 采用的关键技术

31 云计算技术

云计算就是IT整体资源的“按需分配”与服务交付。由于数据中心的集中化、整合特性,传统的烟囱式系统建设方式会导致资源难以共享、利用率低、标准程度差,建设和扩容成本难以控制。云计算技术的出现,可以云化数据中心需要承载的IT系统。云计算系统具有低成本、大规模特点,以低成本运算单元取代传统大型IT系统设备,降低IT系统的建设和扩容成本,同时通过软件技术实现大量低成本IT硬件单元协同工作,保证高可靠性。云计算系统具有平滑扩展能力,具备高度的扩展性和d性,可以方便、快速地增加或减少资源。云计算系统具有资源共享能力,可提供多种形式的计算、存储、网络能力资源池,可为多种上层应用提供服务,同时实现资源的自动分配与管理。利用云计算技术和模式,数据中心将成为云计算数据中心,形成私有云、公有云或混合云。云计算的IaaS、PaaS和SaaS服务模式成为数据中心业务模式创新的源泉。基于IaaS,数据中心可以升级传统的资源类出租业务,提供d性资源出租,实现按需服务;基于PaaS,数据中心可以在传统增值服务基础上,提供有特色的能力服务;基于SaaS,数据中心可以深化服务内容,进一步提高收益水平,打造差异化竞争能力。

32 服务器虚拟化技术

新一代的数据中心的发展方向是私有云,而私有云以虚拟化技术为核心。所谓服务器虚拟化,指的是通过一台服务器的设置,使其能够同时运行多种 *** 作系统,并且实现其相互之间的独立性。引入服务器虚拟化软件,能够把在物理上唯一的服务器进行逻辑上的划分,使之能够以多个虚拟机的模式运行。服务器虚拟化的信息系统部署模式能够有效提升服务器的利用率,降低信息化成本。计划选择VMware vSphere作为数据中心服务器虚拟化软件,其是业界领先且可靠的虚拟化平台,vSphere 是VMware公司推出一套服务器虚拟化解决方案,目前的最新版本为55。vSphere5主要包含ESX Server、vCenter Server和vSphere Client三部分,其中ESX Server直接部署于物理服务器上,作为基础架构全面虚拟化服务器、存储,虚拟机运行在ESX Server上,vCenter Server能够快速部署虚拟机,监控物理服务器和虚拟机的性能。vSpher Client用于管理配置ESX Server,对VMware虚拟化环境进行集中管理。

33 数据交换平台

数据交换平台是数据中心数据与其他应用系统沟通的桥梁,是进行数据交换的基础。数据交换平台负责从各个业务系统或数据库中采集数据,对数据进行整合,按照数据标准规范,形成核心数据库,并提供其他应用系统使用。数据交换平台功能由支撑功能与应用功能组成,支撑功能是数据交换平台的基础,主要由数据采集、元数据管理、数据交换服务总线、平台监控机安全管理子功能组成;应用功能主要为具体业务系统服务,应用系统通过数据交换服务总线,以数据交换服务的形式为各个应用系统提供数据共享服务。

4 结语

本文提出了华北大区地质资料数据中心的设计方案,主要阐述了数据中心的框架设计,介绍了框架中基础设施层、信息资源层、应用支撑层、应用层的建设内容,以及各层之间的协作关系,并对建设采用的关键技术进行了介绍。地质资料数据中心的建设,将有效提高华北大区地质数据资源的积累速度,并大幅度提升地质资料的利用率,改善地质资料服务环境,全面推进地质资料的现代化管理和社会化服务工作。另外随着IT技术发展,如绿色数据中心技术及大数据技术等的快速发展,还可以从数据中心能耗降低、数据整理挖掘等方面对方案进行进一步的优化。

参考文献

[1]林小村数据中心建设与运行管理[M]北京:科学出版社,2011

[2]谢思铭城市空间数据中心的应用研究[J]北京测绘,2013(5):23~26

[3]黄河清,严正伟国土资源数据中心服务器网络存储虚拟化解决方案[J]国土资源信息化,2013(3):47~52

国内做得比较好的IAAS云计算产品有百度云、阿里云、盛大云、115云盘、云创存储的迷你云、品高云等等。

云创存储的迷你云特色功能:

这是一个超安全的私有云计算数据中心,采用高可靠的云存储技术,文件数据块始终以双副本方式在不同节点上存放,绝不丢失数据;

海量存储空间支持灵活使用,既可作为应用软件(如邮箱、视频监控)的海量存储空间,又可作为员工的私密存储空间,还可以作为数据共享空间,为了确保数据安全,办公室内部共享数据与通过互联网共享数据采用完全隔离的两套系统。在办公室内部,可通过“我的电脑”直接访问自己的私有数据空间,在办公室外部,可通过PC Web界面和移动终端(安卓手机、iPhone以及iPad)等访问minicloud,实现移动办公。

同时,还提供丰富多彩的应用系统,系统自带企业邮箱、内部虚拟磁盘、网络云盘、FTP等应用,用户还可按需安装配置其它应用;可选配超强的桌面虚拟化系统:单服务器支持100多个瘦终端流畅共享各类应用软件和上网。

AntDB数据库是一款国产自主、߅多租户、高性能、在线伸缩、安全可靠的电信级分布式关系型数据库产品。AntDB产品优势如下:

1、“电信级”高可用、高安全、强一致属性:具备“一主多从”的集群内部高可用切换能力,优良的“多地多中心”灾备能力,满足“电信级”、“金融级”数据安全和强一致性要求。

2、支持高并发,系统高性能:产品引入线程池/协程模型,支持百万并发连接数;基于RDMA(Remote Direct Memory Access,远程直接数据存取)高速网络形成了高性能分布式系统。

3、在线d性伸缩,PB级处理能力:支持业务不停机下的横向自动扩缩容;采用分层存储技术,高效支持业务需要,实现PB级数据管理。

4、自主可控,支持国产适配:自主知识产权原生分布式架构,全面适配鲲鹏、飞腾、统信等国产处理器、服务器、 *** 作系统与芯片,为各行业自主可控项目采购提供了优质选择。

5、运维可管控,效果可视化:AntDB结合人工智能AI技术,提供全局运维管理平台AntDB Control Center,实现多维度可视化监控、向导式自动化部署、多渠道智能化告警等全方位的数据库运维管理。

首先,软件方案和一体机方案如何选择?

如果 IT 规模比较大,会涉及到当下或未来使用多个服务器品牌的可以考虑购买超融合软件产品自行构建方案;

服务器用量较大,具有议价能力的,也可以考虑通过购买方案降低整体的方案成本;

对于虚拟化、硬件等运维能力强的客户可以使用软件方案,但对于运维能力不强的客户建议一体机方案以便降低维护和服务支持的复杂度。

其次,超融合可以适用于哪些场景?

具体可以参考Gartner 在其报告《Critical Capabilities for Hyperconverged Infrastructure》。里面提到了超融合的 6 大适用场景与 11 个评估关键点。

Consolidated:以降低 TCO 为目标的不同层级 IT 设施整合的数据中心超融合项目。

Business-Critical:用于承载类似 ERP 等关键业务,并用于提升可靠性与可扩展性的超融合相关项目。

Cloud:用于承载基于私有云设计的新型应用或重新设计的核心应用。

Edge:支持和 IoT 设备接口,并基于边缘计算相关应用、微服务的超融合相关项目。

ROBO:被远程管理的非主数据中心,亦可用于作为 IoT / 边缘计算的桥接基础架构。

VDI:VDI 架构可通过 LAN/WAN 的方式,通过远程显示协议访问,通过超融合简化部署而受益。

以上 Gartner 定义的六大场景包含重要信息:

超融合最早被广泛的应用的场景以 VDI 和 ROBO 为主,即使是生产环境,也用于非核心生产系统,但时至今日, 超融合已经完全覆盖了传统架构中块存储覆盖的所有的领域,甚至包含企业级核心应用。

超融合作为私有云的重要基础,同样成为超融合的一个重要应用场景。

目前热点的边缘计算和物联网领域,也成为超融合的一个重要应用场景。

水池d性接头设置要求如下。

1、选择合适的接头类型:根据管道材料、管径、工作压力、介质性质等因素选择合适的d性接头类型,常见的有橡胶接头、金属波纹管接头、聚合物复合材料接头等。

2、安装正确表面平整:安装前应检查管道表面是否平整、无明显凸起或凹陷等缺陷,以保证接头在安装后能够正确生效。

3、安装位置:接头应当设置在管道长度和变形位置较大的位置,一般为管道弯曲、机器设备旁边等位置。同时,也需要注意避免接头处受到外力摩擦和碰撞。

4、安全间距设置:d性接头在使用过程中需要产生一定变形量,为了安全起见,应当在接头两侧预留一定的间距,避免出现液体泄漏或者接头本身损坏的情况。

以上就是关于数据级容灾备份,和应用级容灾备份有什么区别国内做得好的有哪几家备份厂家全部的内容,包括:数据级容灾备份,和应用级容灾备份有什么区别国内做得好的有哪几家备份厂家、互联网如何海量存储数据、华北大区地质资料数据中心设计方案探讨等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9532587.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-29
下一篇2023-04-29

发表评论

登录后才能评论

评论列表(0条)

    保存