电信运营商必须深化战略转型，否则将难以应对移动互联网时代的各项挑战
据赛迪顾问数据显示，2012年中国已有超过4亿用户尝试用手机访问互联网，微信用户突破3亿，手机用户上网的频率全面提高。随着未来以智能手机、平板电脑为代表的新式移动互联网终端的不断推出，人们对于移动互联网业务的需求将呈现爆炸式增长趋势。显而易见，移动互联网正在孕育着一个巨大的市场商机。移动互联网产业生态价值链还在重塑过程中，但机遇大于挑战，关键是如何调整商业模式、战略、策略、渠道。
然而，当电信运营商从被动转主动开始拥抱移动互联网所造就的数据时代时，其最强劲的竞争对手互联网巨头已经成为近年来发展最为迅速、灵活、并且创意无限的角色。当前，即便是世界优秀的电信运营商也面临着艰巨的业务转型需要和巨大的发展瓶颈。在移动互联网时代，运营商缺乏互联网运营经验、对终端掌控力度不足、业务创新能力落后、缺乏标准开发能力以及资源使用与管理运营支撑效率低已经成为了运营商全面增长的几个主要的劣势所在。从最新公布的中国移动、2013年一季度财报来看，利润增长几乎停滞，增长显现出疲态。运营商的转型之门若干年后又将重新打开，而不管是“流量经营”和“去电信化”等运营商转型思路，赛迪顾问认为，面临移动互联网带来的庞大的数据挑战，电信运营商的转型之路必须要围绕海量数据所带来的商机作深度挖掘和分析。
海量数据的出现、数据结构变化给运营商的数据管理及分析带来高度挑战
尽管移动互联网时代给电信运营商带来前所未有的机遇，然而正如硬币的两面，这个时代的到来同样也给电信运营商带来了无限的挑战，特别是大数据的挑战。这个挑战主要表现在以下两个方面：其一、传统数据仓库难以满足日益增长的业务数据所带来的存储、计算需求。随着业务发展数据量的增加，应用复杂导致的数据量增加，这些数据量导致了数据存储和处理压力； 数据仓库无法线性扩容，管理难度加大，成本高扩容压力大，效率下降等。其二、传统数据仓库难以满足非结构化数据的处理要求。移动互联网和物联网业务带来的非结构化数据、半结构化数据（如网页、聊天记录）对分析系统提出了不同以往的处理要求，如自然语言处理、网页分类等。下图描述了运营商针对不同业务所应具备的大数据处理模型特征，是运营商急需提升的应用处理能力模型。
图1 电信运营商大数据处理应用模型
从上图看，准实时处理、非实时处理以及oltp/在线事务处理以及在线分析应用四个方向的能力将是电信运营商在主要大数据应用所应具备的能力，也是未来运营商大数据的重要竞争优势的角逐。
利用大数据转型，运营商在行动
其实，各大运营商在面向移动互联时代已经做好了部分准备，而且在应对大数据挑战上逐步提高了竞争意识。
中国电信很早就已经意识到移动互联网时代的到来，并于2005年提出了战略转型的构想，主要目的就是为了应对移动互联网时代的挑战。而当前，中国电信已经提出了“智慧城市”发展战略，其中很重要的技术结合点就是物联网和大数据。基于以上战略，中国电信定位成为智能管道的主导者、综合平台的提供者、内容应用的参与者。而在“流量经营”方面，中国电信从“话务经营”向“流量经营”转型。结合大数据技术，中国电信也将深入idc服务以及智慧城市建设，并发掘移动互联与之结合的商机，重塑转型之路。
中国移动数据部认为，在移动互联网时代，电信运营商需要转型，要以开放的姿态获取更多的合作，而中国移动的阅读、游戏、动漫、音乐等业务都将通过开放合作的方式来寻求发展。通过开放合作平台，中国移动从“移动通信专家”到“移动信息专家”的策略转变，就是为顺应移动互联网时代潮流而做出的改变。这一战略的发展基础就是中国移动针对大数据和云计算研究所获得的应用发展方向。中国移动在大云15平台上部署了分析型paas产品，利用bc-hadoop构建大数据处理平台，同时建设了并行数据挖掘系统（bc-pdm&etl）以及商务智能平台（bi-paas）等大数据应用平台，为将来在大数据应用和服务市场做了充分准备。
中国联通对大数据的探索源自于2010年中国联通数据大集中策略的提出。2009年，中国联通3g业务正式商用，提出“统一品牌、统一业务、统一包装、统一资费、统一终端政策、统一服务标准”的“六个统一”策略。这意味着中国联通要走一条数据大集中的路线。2012年底，中国联通就已经成功将大数据和hadoop技术引入到移动通信用户上网记录集中查询与分析支撑系统。当前，中国联通已经新增100亿投资重庆大数据计划，显现了其发展大数据，转型自身业务的决心。
总体来看，运营商利用大数据来推动业务转型将是未来电信市场的一个重要方向。电信运营商如果能够通过技术的进步，不断释放其管道中庞大数据的潜在力量，将会成为未来移动互联时代中最大的赢家。从服务器的硬件架构来看，AI服务器是采用异构形式的服务器，在异构方式上可以根据应用的范围采用不同的组合方式，如CPU+GPU、CPU+TPU、CPU+其他的加速卡等。与普通的服务器相比较，在内存、存储、网络方面没有什么差别，主要在是大数据及云计算、人工智能等方面需要更大的内外存，满足各种数据的收集与整理。
我们都知道普通的服务器是以CPU为算力的提供者，采用的是串行架构，在逻辑计算、浮点型计算等方面很擅长。因为在进行逻辑判断时需要大量的分支跳转处理，使得CPU的结构复杂，而算力的提升主要依靠堆砌更多的核心数来实现。
但是在大数据、云计算、人工智能及物联网等网络技术的应用，充斥在互联网中的数据呈现几何倍数的增长，这对以CPU为主要算力来源的传统服务提出了严重的考验，并且在目前CPU的制程工艺、单个CPU的核心数已经接近极限，但数据的增加却还在持续，因此必须提升服务器的数据处理能力。因此在这种大环境下，AI服务器应运而生。
现在市面上的AI服务器普遍采用CPU+GPU的形式，因为GPU与CPU不同，采用的是并行计算的模式，擅长梳理密集型的数据运算，如图形渲染、机器学习等。在GPU上，NVIDIA具有明显优势，GPU的单卡核心数能达到近千个，如配置16颗NVIDIA Tesla V100 Tensor Core 32GB GPUs的核心数可过10240个，计算性能高达每秒2千万亿次。且经过市场这些年的发展，也都已经证实CPU+GPU的异构服务器在当前环境下确实能有很大的发展空间。
但是不可否认每一个产业从起步到成熟都需要经历很多的风雨，并且在这发展过程中，竞争是一直存在的，并且能推动产业的持续发展。AI服务器可以说是趋势，也可以说是异军崛起，但是AI服务器也还有一条较长的路要走，以上就是浪潮服务器分销平台十次方的解答。
大数据的由来
对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
1
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大数据的应用领域
大数据无处不在，大数据应用于各个行业，包括金融、 汽车 、餐饮、电信、能源、体能和 娱乐 等在内的 社会 各行各业都已经融入了大数据的印迹。
制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。
金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。
汽车 行业，利用大数据和物联网技术的无人驾驶 汽车 ，在不远的未来将走入我们的日常生活。
互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。
电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。
能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。
物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。
城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。
体育 娱乐 ，大数据可以帮助我们训练球队，决定投拍哪种 题财的 影视作品，以及预测比赛结果。
安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。
个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。
大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了 社会 生产和生活，未来必将产生重大而深远的影响。
大数据方面核心技术有哪些？
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
数据采集与预处理
对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。
Flume NG
Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费(收集)数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。
NDC
Logstash
Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
Sqoop
Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapReduce 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。
流式计算
流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。
Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出(或被kill掉)，supervisor会尝试重新生成新的worker进程。
Zookeeper
Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。
数据存储
Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。
HBase
HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
Phoenix
Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。
Yarn
Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。
Mesos
Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。
Redis
Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。
Atlas
Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。
Kudu
Kudu是围绕Hadoop生态圈建立的存储引擎，Kudu拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描 *** 作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Kudu的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。
在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显著减少磁盘上的存储。
数据清洗
MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Reduce(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。
随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。
Oozie
Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。
Azkaban
Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。
流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面(开发、运维)的投入，帮助用户专注于解决产品本身的流计算需求
数据查询分析
Hive
Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。可以将Hive理解为一个客户端工具，将SQL *** 作转换为相应的MapReduce jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapReduce程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapReduce 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。
Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个Query会被编译成多轮MapReduce，则会有更多的写中间结果。由于MapReduce执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。
Impala
Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来 *** 作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成)，可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapReduce任务，相比Hive没了MapReduce启动时间。
Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->reduce模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。
Spark
Spark拥有Hadoop MapReduce所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像 *** 作本地集合对象一样轻松地 *** 作分布式数据集。
Nutch
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。
Solr
Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过>大数据技术及应用
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里？金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”
二、什么是大数据
大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。
（一）大数据的4V特征
大量化（Volume）：企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。
多样化（Variety）：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。
快速化（Velocity）：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。
价值（Value）：大量的不相关信息，浪里淘沙却又弥足珍贵。对未来趋势与模式的可预测分析，深度复杂分析（机器学习、人工智能Vs传统商务智能（咨询、报告等）
三、大数据时代对生活、工作的影响
大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。
“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。
四、大数据时代的发展方向、趋势
根据ESM国际电子商情针对2013年大数据应用现状和趋势的调查显示：被调查者最关注的大数据技术中，排在前五位的分别是大数据分析（1291%）、云数据库（1182%）、Hadoop（1173%）、内存数据库（1164%）以及数据安全（921%）。Hadoop已不再是人们心目中仅有的大数据技术，而大数据分析成为最被关注的技术。从中可以看出，人们对大数据的了解已经逐渐深入，关注的技术点也越来越多。既然大数据分析是最被关注的技术趋势，那么大数据分析中的哪项功能是最重要的呢？从下图可以看出，排在前三位的功能分别是实时分析（2132%）、丰富的挖掘模型（1797%）和可视化界面（1591%）。2012年也曾做过类似的调查，当时选择丰富的挖掘模型（2722%）比实时分析（1988%）多734%。短短一年时间内，企业对实时分析的需求激增，成就了很多以实时分析为创新技术的大数据厂商。从调查结果可以看出：企业在未来一两年中有迫切部署大数据的需求，并且已经从一开始的基础设施建设，逐渐发展为对大数据分析和整体大数据解决方案的需求。与此同时，大数据还面临人才的缺乏的挑战，需要企业和高校联合起来，培养数据领域的复合型人才，帮助企业打赢这场“数据战”。
五、大数据的应用
（一）行业拓展者，打造大数据行业基石
IBM：IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）；业务事件处理；IBM Mashup Center的计量，监测，和商业化服务（MMMS）。 IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。
该产品组合包括：打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析。软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案。
微软：2011年1月与惠普（具体而言是HP数据库综合应用部门） 合作目标是开发了一系列能够提升生产力和提高决策速度的设备。
EMC：EMC 斩获了纽交所和Nasdaq；大数据解决方案已包括40多个产品。
Oracle：Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。
（二）大数据促进了政府职能变革
重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析。一方面大数据的应用促进了政府职能变革，另一方面政府投入将形成示范效应，大大推动大数据的发展。
（三）打造“智慧城市”
美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式” ；中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”
（四）未来，改变一切
未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。
数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。
六、机遇和挑战
大数据赋予了我们洞察未来的能力，但同时诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！更多的隐私、安全性问题：我们的隐私被二次利用了。多少密码和账号是因为“社交网络”流出去的？
眼下中国互联网热门的话题之一就是互联网实名制问题，我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份，互联网才能对我们的隐私给予更好保护
立足数据中心运维管理的现状，顺应时代发展的潮流，充分利用信息技术的机遇，利用现有资源对数据中心的运维管理加强完善和创新，为行业的发展，国家的进步贡献力量。
1大数据时代数据中心运维管理的现状
大数据时代作为时代发展的机遇出现在大众视野，但是也是作为挑战逐步渗透在行业的数据中心运维管理中。以计算机技术为依托的数据中心运维管理的显著特点就是大规模的数据流量，正在不断与原有的数据中心架构产生冲突。
目前，大数据时代的数据中心运维管理的先进意识已经深入人心，但是实际项目 *** 作过程中会有众多的问题出现。因为在磨合期，所以现有设备不能满足大数据时代的数据中心管理要求;运维管理人员的没有经过大数据时代新的运维管理思路的熏陶，技术水平与之不匹配;还有就是数据中心的运维管理制度不都完善，相应的管理水平不高。
2解决数据中心运维管理困境的策略
针对目前数据中心运维管理的困境，本文提出了相应的解决策略，以供业界参考。
21 提升运维管理人员的整体能力
基于目前数据中心运维管理工作人员的实际能力，通过采取以下积极的措施来提升运维管理工作人员的综合能力水平。
211 大数据背景下，强化数据中心运维管理人员的技术应用水平
通过多维度的检验途径，比如定期检查该技术的理论与实践水平确定工作人员的当前能力，在制定符合目前技术短板的相关培训，从而保证运维管理工作的顺利进行。
212 加强管理方面的知识渗透
在加强数据中心运维管理人员的技术应用水平的前提下，可以加强管理学知识的渗透，为技术团队的整体语言表达能力的提升以及为管理层储备后续力量，既懂技术又懂管理的新世纪人才，有助于数据中心运维管理工作更加高质量的完成。
213 加强工作人员执行力，更高效的完成工作
在数据中心运维管理的众多评价标准中，执行力是影响一个团队整体运作能力很重要的一个指标，良好的执行力可以保证时间段内的工作目标提前完成或者超量完成。
22 强化业务管理工作和业务培训工作
现如今，科学技术的更新速度往往超出人们的接受速度，在数据中心运维管理这个领域也同样适用。所以使得运维管理人员刚刚熟练掌握新的运维既能并熟练应用，新的技术又刷新了行业应用领域。所以设立专门的培训机构，强化管理人员终身学习的意识，紧跟时代发展的脚步。
221 制定合理的业务培训和业务管理培训计划
科学合理的方案总能给与人们正确的指导，并保证在规定期限内达到既定目标。运维管理培训和业务培训的内容要与时俱进，不断为管理人员灌输新的知识，为运维管理的工作融入新鲜的血液。
222 合理安排培训时间
运维工作人员在企业内是员工，男性员工在家庭里是儿子，是丈夫，是爸爸，所以要协调好培训的时间，保证员工能充分解决员工之外的各种事情，全身心的投入工作。
223 使业务管理和业务培训的形式呈现多元化
公司管理层应加强与行业内部个组织间的联系，比如同专业的大学、同行业资深专家、专业讲座等等。通过多元形式的学习加深对行业发展的了解，并积极促进管理人员的专业素养。
224 定期进行培训效果的考核
在定期进行学习之余，为检验学习效果是否达到预期目标，应适时进行检验，进一步促进运维工作人员的学习质量的提升，提升其主观学习的动力。
总之，强化对运维工作人员的业务培训，能够有效地对运维工作者的维修技术进行与时俱进的培训，能够有利于运维管理工作人员进行数据中心运维管理工作的开展，最终有利于信息技术飞速发展下的运维工作的稳定进行。
23 加强了解整体行业环境的意识
有些企业的运维管理的硬件设施和软件配备欠缺，造成整体的管理水平低，是因为企业没有采取相应的举措保障。以下将详细讲述如何提升整体行业环境的了解。
（2）定期组织团队中的成员进行行业发展前景的探讨，在探讨交流的过程中了解当下运维管理工作的总趋势，从而能够为运维工作的有效进行提供有价值的参考意见。
总之，强化了解和分析业务环境的意识，能够有利于运维管理工作人员有行业的危机意识和行业的发展意识以及个人职业规划意识的提升，最终有利于大数据时代数据中心运维管理工作的顺利开展。
3大数据时代下，技术层面面临的挑战
31动力环境监控系统概述
通过应用数据采集系统，计算机和网络技术，逐步完成数据中心运维管理动力电源供电设备的运行和机房的监控的平台就是数据中心动力环境监控系统。
32 动力环境监控数据的特点。
通过采集数据中心的关键指标数据，针对实际运行情况实现预警功能、远程功能以及运行监测功能。动力环境监控数据具有其本身特点。
321 数据结构化、格式化程度高
因系统采集到的实时监控数据大都存储于数据库中，因而动环监控数据结构化、格式化程度高，这也为数据挖掘提供了便利。
322 实时更新
动力环境监控系统运行的最底保证便是数据的准确性和实时更新，其数据采集的更新时间间隔为每秒。
323 时序性
动力环境监控系统实时记录的环境温度、环境湿度等数据都是随时间更替而进行采集的。
33 数据挖掘提高告警信息准确性
动力监控系统是以计算机为载体，以信息技术为依托的技术，所以其产生的大规模数据也是大数据时代一个突出的特点。就目前而言大规模的数量利用率较低，即使专业水准较高的管理人员也会深感难度高、工作量大，与现有的技术水平不能完好对接。
数据挖掘技术的出现解决了目前的难题。数据挖掘中关联分析方法解决了数据中心运维管理中不明原因的重复警报，为运维管理的工作有序进行提供了基础，并为专业水平较低的运维人员提升了工作效率。
33 运维经验知识化的工作模式需要改进
据以往的运维工作人员的叙述，过度依赖专家给与的指导经验，成为行业内部的不良风气。首先运维专家的培养周期较长，短时间没有任何效益输出;其次专家的意见偶尔会带有强烈的主管色彩，但是对于实际 *** 作过程并不适用，最终导致工作的延误;最后就是过度依赖专家，若运维专家不在职装天下将会对运维管理工作造成重创，不具有可持续性。
所以建立关于数据中心运维管理的内部数据和外部数据，为现有的运维人员过度依赖专家的不良习惯提出解决方案。内部数据主要是指内部运维经验;外部数据是指来源于互联网的运维知识。对于收集到的内外部数据，利用文本挖掘、聚类、分类预测等方法对信息进行加工展现，转化成知识库中的知识，并实现对信息的快速、自动化检索。
34 资源调度成为容量管理的关键
在大数据时代下，数据中心存储容量指标是指机位空间指标等，尤其是计算资源指标，是其组成的关键部分。需要最新的数据中心运维管理平台实现监测服务器、使用网络以及存储资源等功能，根据实际情况进行管理策略的变动和资源的优化配置。
云计算技术已成为数据中心运维管理的核心，并打破传统的数据运维管理信息系统结构，建立一个全新的集计算、存储、和网络三维一体的虚拟资源库，通过实际的 *** 作，实现现有资源的动态优化配置。
虚拟化技术可以保证存储环节中大规模数据的安全性，在逐步实现数据资源的重复使用、关联以及动态管理等动能的同时，也为运维管理人员提出了巨大的挑战。故此，通过科学合理的分析容量数据，构建完善的资源调度制度，实现实现新一代数据中心资源在应用间的动态分配，将成为大数据时代下数据中心运维管理的一大挑战。
4结束语
为顺应大数据时代的潮流，必须进行数据中心运维管理的深度优化，为数据中心的整体发展提供新鲜的 科技 动力。通过提升运维管理人员各方面的能力还有利用先进的动力环境监控系统技术，为数据中心的运维管理提供强大的人力支持和技术支持，助力大数据时代背景下，数据中心运维管理的长足发展。
参考文献
[1]朱玉立，任义延，高甲子等，浅谈大数据时代下的数据中心运维管理[J]信息系统工程，2015
[2]解林超，石佳，王仲锋等。大数据时代对传统数据中心的影响及思考[J]中国新通信，2014
[3]周焘。大数据时代的档案大编研[J]陕西档案，2014
[4]陈艺高，动环大数据，提升运维效能[J]通信电源技术，2014
[5]张隽轩，张文利，黄毅。数据中心运维系统应用ITIL管理体系分析[J]智能建筑与城市信息，2015
[6]宋维佳，马皓，肖臻，张晓军，张蓓虚拟化数据中心资源调度研究[J]广西大学学报：自然科学版，2011，36（01）：330-334
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）