
数据时代,移动互联、社交网络、数据分析、云服务等应用的迅速普及,对数据中心提出革命性的需求,存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价值日益凸显,数据已经成为不可或缺的资产。作为数据载体和驱动力量,存储系统成为大数据基础架构中最为关键的核心。
传统的数据中心无论是在性能、效率,还是在投资收益、安全,已经远远不能满足新兴应用的需求,数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外,新型的大数据中心还需具备虚拟化、模块化、d性扩展、自动化等一系列特征,才能满足具备大数据特征的应用需求。这些史无前例的需求,让存储系统的架构和功能都发生了前所未有的变化。
基于大数据应用需求,“应用定义存储”概念被提出。存储系统作为数据中心最核心的数据基础,不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等特征之外,还要有虚拟化、并行分布、自动分层、d性扩展、异构资源整合、全局缓存加速等多方面的特点,才能满足具备大数据特征的业务应用需求。
尤其在云安防概念被热炒的时代,随着高清技术的普及,720P、1080P随处可见,智能和高清的双向需求、动辄500W、800W甚至上千万更高分辨率的摄像机面市,大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求,需要充分考虑功能集成度、数据安全性、数据稳定性,系统可扩展性、性能及成本各方面因素。
目前市场上的存储架构如下:
(1)基于嵌入式架构的存储系统
节点NVR架构主要面向小型高清监控系统,高清前端数量一般在几十路以内。系统建设中没有大型的存储监控中心机房,存储容量相对较小,用户体验度、系统功能集成度要求较高。在市场应用层面,超市、店铺、小型企业、政法行业中基本管理单元等应用较为广泛。
(2)基于X86架构的存储系统
平台SAN架构主要面向中大型高清监控系统,前端路数成百上千甚至上万。一般多采用IPSAN或FCSAN搭建高清视频存储系统。作为监控平台的重要组成部分,前端监控数据通过录像存储管理模块存储到SAN中。
此种架构接入高清前端路数相对节点NVR有了较高提升,具备快捷便利的可扩展性,技术成熟。对于IPSAN而言,虽然在ISCSI环节数据并发读写传输速率有所消耗,但其凭借扩展性良好、硬件平台通用、海量数据可充分共享等优点,仍然得到很多客户的青睐。FCSAN在行业用户、封闭存储系统中应用较多,比如县级或地级市高清监控项目,大数据量的并发读写对千兆网络交换提出了较大的挑战,但应用FCSAN构建相对独立的存储子系统,可以有效解决上述问题。
面对视频监控系统大文件、随机读写的特点,平台SAN架构系统不同存储单元之间的数据共享冗余方面还有待提高;从高性能服务器转发视频数据到存储空间的策略,从系统架构而言也增加了隐患故障点、ISCSI带宽瓶颈导致无法充分利用硬件数据并发性能、接入前端数据较少。上述问题催生了平台NVR架构解决方案。
该方案在系统架构上省去了存储服务器,消除了上文提到的性能瓶颈和单点故障隐患。大幅度提高存储系统的写入和检索速度;同时也彻底消除了传统文件系统由于供电和网络的不稳定带来的文件系统损坏等问题。
平台NVR中存储的数据可同时供多个客户端随时查询,点播,当用户需要查看多个已保存的视频监控数据时,可通过授权的视频监控客户端直接查询并点播相应位置的视频监控数据进行历史图像的查看。由于数据管理服务器具有监控系统所有监控点的录像文件的索引,因此通过平台CMS授权,视频监控客户端可以查询并点播整个监控系统上所有监控点的数据,这个过程对用户而言也是透明的。
(3)基于云技术的存储方案
当前,安防行业可谓“云”山“物”罩。随着视频监控的高清化和网络化,存储和管理的视频数据量已有海量之势,云存储技术是突破IP高清监控存储瓶颈的重要手段。云存储作为一种服务,在未来安防监控行业有着可观的应用前景。
与传统存储设备不同,云存储不仅是一个硬件,而是一个由网络设备、存储设备、服务器、软件、接入网络、用户访问接口以及客户端程序等多个部分构成的复杂系统。该系统以存储设备为核心,通过应用层软件对外提供数据存储和业务服务。
一般分为存储层、基础管理层、应用接口层以及访问层。存储层是云存储系统的基础,由存储设备(满足FC协议、iSCSI协议、NAS协议等)构成。基础管理层是云存储系统的核心,其担负着存储设备间协同工作,数据加密,分发以及容灾备份等工作。应用接口层是系统中根据用户需求来开发的部分,根据不同的业务类型,可以开发出不同的应用服务接口。访问层指授权用户通过应用接口来登录、享受云服务。其主要优势在于:硬件冗余、节能环保、系统升级不会影响存储服务、海量并行扩容、强大的负载均衡功能、统一管理、统一向外提供服务,管理效率高,云存储系统从系统架构、文件结构、高速缓存等方面入手,针对监控应用进行了优化设计。数据传输可采用流方式,底层采用突破传统文件系统限制的流媒体数据结构,大幅提高了系统性能。
高清监控存储是一种大码流多并发写为主的存储应用,对性能、并发性和稳定性等方面有很高的要求。该存储解决方案采用独特的大缓存顺序化算法,把多路随机并发访问变为顺序访问,解决了硬盘磁头因频繁寻道而导致的性能迅速下降和硬盘寿命缩短的问题。
针对系统中会产生PB级海量监控数据,存储设备的数量达数十台上百台,因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具,具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警,图像化系统检测等功能。在海量视频存储检索应用中,检索性能尤为重要。传统文件系统中,文件检索采用的是“目录-》子目录-》文件-》定位”的检索步骤,在海量数据的高清视频监控,目录和文件数量十分可观,这种检索模式的效率就会大打折扣。采用序号文件定位可以有效解决该问题。
云存储可以提供非常高的的系统冗余和安全性。当在线存储系统出现故障后,热备机可以立即接替服务,当故障恢复时,服务和数据回迁;若故障机数据需要调用,可以将故障机的磁盘插入到冷备机中,实现所有数据的立即可用。
对于高清监控系统,随着监控前端的增加和存储时间的延长,扩展能力十分重要。市场中已有友商可提供单纯针对容量的扩展柜扩展模式和性能容量同步线性扩展的堆叠扩展模式。
云存储系统除上述优点之外,在平台对接整合、业务流程梳理、视频数据智能分析深度挖掘及成本方面都将面临挑战。承建大型系统、构建云存储的商业模式也亟待创新。受限于宽带网络、web20技术、应用存储技术、文件系统、P2P、数据压缩、CDN技术、虚拟化技术等的发展,未来云存储还有很长的路要走。
分类: 电脑/网络 >> 程序设计 >> 其他编程语言
解析:
在NET体系结构中,XML是各应用之间无缝接合的关键
对于NET到底是什么这个问题,有着各种各样的说法。但当时作为首席执行官的鲍尔默应该最能代表微软公司的观
点,他说:“MicrosoftNET 代表了一个 、一个环境、一个可以作为平台支持下一代Inter的可编程结构。”确
实,这句话基本上简单扼要地表述了NET的外特性。
NET首先是一个环境。这是一个理想化的未来互联网环境,微软的构想是一个“不再关注单个网站、单个设备与因特
网相连的互联网环境,而是要让所有的计算机群、相关设备和服务商协同工作”的网络计算环境。简而言之,互联网提供
的服务,要能够完成更高程度的自动化处理。未来的互联网,应该以一个整体服务的形式展现在最终用户面前,用户只需
要知道自己想要什么,而不需要一步步地在网上搜索、 *** 作来达到自己的目的。这是一种理想,但的的确确是互联网的发
展趋势所在。
NET谋求的是一种理想的互联网环境。而要搭建这样一种互联网环境,首先需要解决的问题是针对现有因特网的缺
陷,来设计和创造一种下一代Inter结构。这种结构不是物理网络层次上的拓扑结构,而是面向软件和应用层次的一种
有别于浏览器只能静态浏览的可编程Inter软件结构。因此NET把自己定位为可以作为平台支持下一代Inter的可编
程结构。
NET的最终目的就是让用户在任何地方、任何时间,以及利用任何设备都能访问他们所需要的信息、文件和程序。而
用户不需要知道这些东西存在什么地方,甚至连如何获得等具体细节都不知道。他们只需发出请求,然后只管接收就是
了,而所有后台的复杂性是完全屏蔽起来的。所以对于企业的IT人员来说,他们也不需要管理复杂的平台以及各种分布应
用之间的工作是如何协调的。
NET Framework包括通用语言运行环境、Framework类库和Active Server Pages+
有了理想目标和相应可编程Inter软件结构,NET这样的一个协同计算环境的具体实现还必然需要一系列的软件产
品支撑,因此微软的NET还包括一个产品的 。这个 包含以下组成部分:
NET平台
这一平台建立在XML和因特网标准协议的基础上,包含了NET的基础结构和基础工具,为开发新型的互动协作软件提供
了一个先进的体系结构模型。
NET系列产品和服务
如MSNNET、OFFICENET、Visual StudioNET、bCentralNET等。
第三方厂商的NET服务
建立在NET平台和产品上的面向不同应用领域的具体服务。
从上面对NET的简单分析可以看出,在对新技术和IT产业的推动上,无论如何,微软还是功不可没的。但与此同时,
也可以推测出,如果NET一旦成为事实,那么对于其他非应用软件厂商而言,可能会产生巨大的竞争压力。
NET的技术特征
NET包括4个重要特点,一是软件变服务,二是基于XML的共同语言,三是融合多种设备和平台,四是新一代的人机界
面。这四个特点基本上覆盖了NET的技术特征。
软件变服务
史蒂夫·鲍尔默在谈到软件服务时说道,“今天的软件产品仅仅是一张光盘,用户购买软件,亲自安装、管理和维
护。但是软件服务是来自因特网的服务,它替用户安装、更新和跟踪这些软件,并让它们和用户一同在不同的机器间漫
游。它为用户存储自己的信息和参考资料。这些就是软件和软件服务各自不同的风格。”
Orchestration可视化编程工具产生基于XML的XLANG代码,它和BizTalk服务器、NET Framework,以及Visual
StudioNET都曾是Windows DNA 2000战略的重要部分。
伴随着ASP产业的兴起,软件正逐渐从产品形式向服务形式转化,这是整个IT行业的大势所趋。在NET中,最终的软件
应用是以Web服务的形式出现并在Inter发布的。Web服务是一种包装后的可以在Web上发布的组件,NET通过WSDL协议来
描述和发布这种Web服务信息,通过DISCO协议来查找相关的服务,通过SOAP协议进行相关的简单对象传递和调用。
微软的NET战略意味着:微软公司以及在微软平台上的开发者将会制造服务,而不是制造软件。在未来几年之内,微
软将陆续发布有关NET的平台和工具,用于在因特网上开发Web服务。那时,工作在NET上的用户、开发人员和IT工作人员
都不再购买软件、安装软件和维护软件。取而代之的是,他们将定制服务,软件会自动安装,所有的维护和升级也会通过
互联网进行。
基于XML的共同语言
XML是从SGML语言演化而来的一种标记语言。作为元语言,它可以定义不同种类应用的数据交换语言。在NET体系结构
中,XML作为一种应用间无缝接合的手段,用于多种应用之间的数据采集与合并,用于不同应用之间的互 *** 作和协同工作。
具体而言,NET通过XML语言定义了简单对象访问协议(SOAP)、Web服务描述语言(WSDL)、Web服务发现协议
(DISCO)。SOAP协议提供了在无中心分布环境中使用XML交换结构化有类型数据的简单轻量的机制。WSDL协议定义了服务
描述文档的结构,如类型、消息、端口类型、端口和服务本身。DISCO协议定义了如何从资源或者资源 中提取服务描述
文档、相关服务发现算法等。
融合多种设备和平台
随着Inter逐渐成为一个信息和数据的中心,各种设备和服务已经或正在接入和融入Inter,成为其中的一部
分。NET谋求与各种Inter接入设备和平台的一体化,主要关注在无线设备和家庭网络设备及相关软件、平台方面。
新一代的人机界面
新一代人机界面主要体现在“智能与互动”两个方面。NET包括通过自然语音、视觉、手写等多种模式的输入和表现
方法;基于XML的可编辑复合信息架构——通用画布;个性化的信息代理服务;使机器能够更好地进行自动处理的智能标记
等技术。
以下内容根据网上内容进行收集整理
2015年参与了公司十三五的IT战略规划编制,当时并没有了解太多战略规划方法论,主要还是咨询公司主导。近期又参与到IT战略规划的修编,希望能做得更好一些,有所提升,所以仔细研究了下四大咨询公司IT战略规划项目的方法论(资料大多来自百度文库),毕竟这些咨询公司很善于把无序的项目型工作整理出结构化的方法论来。从各家规划的方法论来看,套路基本相似,根据这些规划方法论层层展开、分析,一家公司的IT战略规划也就逐渐明晰起来。
IT战略:制定信息化的愿景、目标和需要的能力,并给出信息化建设指导原则;
IT架构:勾画实现IT战略目标所需要的应用系统架构、集成技术架构和基础设施架构目标蓝图;
IT管控:搭建IT总体管控模式、定义IT组织结构、职能和关键岗位职责、定义IT管理流程框架和IT评价及审计机制。
总的来讲,在项目启动之后,整个规划项目将划分成四个关键的步骤:分析业务与IT现状、确定IT战略方向、设计未来IT蓝图以及制定IT战略实施计划。各个阶段将分别完成一系列任务,并提交相应的工作成果。
在整个项目过程中,最关键、最核心的是未来IT蓝图设计阶段。项目组将在理解了客户的业务战略、业务现状、IT现状以及已有的IT项目计划的基础上,充分运用埃森哲对业务发展趋势以及技术发展趋势的深刻理解,参考国内行业机构在实施信息化过程中的各种先进经验,为客户设计出未来的IT蓝图。
本阶段埃森哲最重要的任务是通过与客户项目负责人的深入沟通,进一步明确并确定项目的工作范围,在此基础上制定出合理的项目计划。同时,埃森哲与客户双方均需尽快为项目配备相应的资源。
项目启动阶段最重要的成果是明确可行的项目计划。
在现状分析与诊断阶段,埃森哲项目组将基于埃森哲已有的对税务业务的理解,进一步了解客户业务流程的特点,从而了解客户各级部门面临的与信息技术有关的主要问题和需求。
另一方面,更重要的是要了解分析客户当前的IT架构(包括数据架构、应用系统架构、IT基础设施架构)和IT管控模式(包括IT部门的业务流程、IT部门组织和管控模式等),从而对客户已经具有的信息技术能力有一个全面的了解。
通过对客户业务与信息技术现状的调研,项目组将会对客户的业务和信息技术条件有基本的理解,并对客户的长处和弱点有所了解。
在现状分析与诊断阶段,项目组将会阅读客户所提供的大量的文件、资料等,并会对客户各主要业务部门以及信息技术部门进行一系列的访谈。
现状分析与诊断阶段最重要的成果是现状分析报告。这份报告一方面要描述业务现状与信息技术现状的基本情况,另一方面,更重要的是要识别出业务对信息技术提出的最主要的需求,以及信息技术领域面临的一些最主要的问题。
我们将通过对 客户主要领导进行访谈,获得对客户业务战略的理解。在分析了客户业务与信息技术的现状,并理解了客户的业务发展战略的基础上,项目组将结合埃森哲全球税务咨询的经验和对信息技术的深刻理解,并参考国内外的先进实践经验,制定出客户的IT战略方向。
我们假设客户已经清楚地定义了业务发展战略,并且形成了相应的文件。因此我们的访谈只是对有限的问题与客户主要领导进行进一步确认。当我们完成对业务战略和IT战略方向的确认和定义后,也将与客户主要领导对该结果进行确认。
如前所述,决定客户的IT战略实际上就是要分析业务战略对信息技术提出的要求,从而定义出客户的IT愿景、关键的IT目标、需要的IT能力,以及IT在客户应该扮演的角色。
在确定了IT战略方向以后,我们还会根据客户的现状、战略目标以及先进的实践经验,形成制定IT蓝图的一些重要的指导原则和一些基本思路。
项目组所确定的战略方向、指导原则以及初步的设计思路将会客户进行充分地沟通,得到客户的确认之后,这些原则和初步思路将用于指导下一阶段的IT蓝图设计。
这个阶段的主要任务是设计客户未来的IT架构和与之配套的IT管控模型。IT架构包括数据架构、应用系统架构以及IT基础设施架构(硬件设备、系统软件和网络等),而IT管控模型则包括IT组织、IT流程以及IT绩效管理等。
业务对信息技术提出要求,同时,信息技术也会为业务的发展提供新的可能。因此,在设计未来的IT蓝图时,有可能会发现,有必要对部分的业务流程进行调整和优化。流程改进的建议也将在这个阶段完成。
根据分析结果并经过深圳国税的确认后,项目组将定义客户的信息技术能力蓝图和IT架构。定义的IT架构覆盖以下方面:
数据——确定主要的数据来源和数据流(数据分布和数据接口),这一方面是为了将应用系统与业务流程对应起来,另一方面也是为了支持业务流程以及应用系统之间的信息流
应用系统——既包括各个应用系统的功能描述,也包括应用系统的集成与整合架构
IT基础设施——对支持应用系统的关键硬件、系统软件、设施加以说明,并勾画出概要的网络结构与网络资源需求
为了管理、执行和支持所定义的 IT 架构,需要对信息技术进行有效的管控。 IT 管控模型主要包括以下要素:
IT业务流程——定义IT系统的规划、建设、维护等业务流程以及相关的决策和财务方面的责任
IT部门的组织模型——定义IT部门的组织结构、角色、职责以及IT部门与其他业务部门的关系
IT部门的绩效目标和考核指标——定义业务绩效指标,指导IT组织的管理
IT业务规范和标准——确定用于指导IT系统实施和绩效监控的原则(如定义服务水平,系统开发标准等)
分析 客户未来IT蓝图与现状之间的差距,确定这些差距的难度与优先级,提出客户的IT系统整合候选方案,并对候选方案进行综合对比分析,提出建议方案。根据整合方案确定在今后三年中客户需要实施的IT项目、在实施阶段中各个项目的时间顺序、相互依赖关系、项目时间表和需要的资源。
我们还将在项目中与 客户密切配合,基于客户的业务战略和业务需要确定适当的实施战略、实施指导原则、实施所需的方法论支持、客户需要提供的保障条件等。
项目进行过程中,每个阶段结束以后,项目组都会提交相应的报告,作为该阶段的工作成果,而所有这些报告以及相应的过程文件便组成了整个项目的交付成果。
为了帮助 客户更好地理解我们在本项目结束后将提交的工作成果,下面对本规划项目将交付的成果进行初步的解释,并给出了其中部分成果的示例。
项目启动阶段的主要成果是项目计划,项目计划的主要内容包括:
项目进度计划
项目资源计划与职责定义
项目质量计划
项目文档模板
项目进度计划示例可参见本项目建议书“项目进度计划”部分。
现状分析阶段的任务一方面是了解客户的业务特点和业务对信息技术提出的需求,另一方面是了解客户现有的IT架构和IT管控模式。现状分析阶段的工作成果是现状分析报告。
在了解了客户业务与信息技术现状的基础上,结合埃森哲对税务行业和信息技术的深刻理解,项目组将提出客户未来的信息技术发展战略方向。相应的结论将包含在现状分析报告中一并提交。
现状分析报告主要包括以下内容:
客户业务现状概述
业务对信息技术提出的关键需求
客户现有的IT架构;包括数据架构、应用系统架构、基础设施架构
客户IT管控的现状;包括IT业务流程、IT部门的组织模型、IT部门的绩效目标和考核指标以及IT业务规范和标准等
客户信息技术发展战略方向、指导原则和初步思路
现状报告的重点是发现问题。除了详细的现状描述以外,现状报告将会对项目组在业务流程、业务需求、IT架构、IT管控方面的一些关键发现进行归纳,并有重点、有针对性地提出客户IT发展的战略方向、指导原则以及一些初步的思路,为下一步的蓝图设计奠定基础。
蓝图设计阶段的主要任务是基于现状分析的成果,在IT发展战略方向与指导原则的指引下,提出必要的业务流程改进或者流程重整的建议,设计客户未来的IT架构与IT管控机制。
蓝图设计阶段的主要工作成果是蓝图设计报告。这份报告将包含以下一些基本内容:
业务流程改进建议
未来的数据架构
未来的应用系统架构;包括应用系统的功能分布、主要应用系统描述、主要应用系统的迁移路径建议、应用系统集成与整合架构等
未来的基础设施架构;包括网络、硬件、系统软件以及运行维护、开发、安全等的基本原则
未来的IT管控机制;包括主要IT业务流程的定义、IT部门的组织结构、IT部门绩效考核与考核指标、IT业务规范
对于客户而言,应用系统的集成与整合将是未来的蓝图设计要解决的特别突出的一个问题,这方面的工作将体现在“未来的应用系统架构”部分。
制定出客户的IT蓝图之后,项目组将分析客户未来IT蓝图与现状之间的差距,确定这些差距的难度与优先级。提出客户的IT系统整合候选方案,并对候选方案进行综合对比分析,提出建议方案。根据整合方案确定在今后三年中客户需要实施的IT项目、在实施阶段中各个项目的时间顺序、相互依赖关系、项目时间表和需要的资源。
现状与蓝图之间的主要差距
总体实施计划:项目划分;总体阶段划分;各个阶段的时间安排、资源需求、预期效果;实施过程中的关键因素
项目定义:对主要项目的范围、目标、资源需求、成本收益等进行定义与分析
项目实施过程中的工程管理方法
总体实施计划示例:
以上就是关于传统大数据存储的架构有哪些各有什么特点全部的内容,包括:传统大数据存储的架构有哪些各有什么特点、.net 框架的基本层次结构及框架特点、IT战略规划项目方法论等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)