Linux和大数据云计算之间有什么关系？

1、linux云计算就是根据人们的需要，从大数据中以的速度，简便的方法找出人们需要的信息。并找出相关联信息之间的规律，以及预测信息变化可能出现的结果。

2、从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

3、linux云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。

4、大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。

5、他俩之间的关系你可以这样来理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。

Linux 第14课：云计算四层之DaaS层（数据服务）

时间 2019-04-12

主讲 刘培富

地点 远程分享，自助学习

数据层的任务是数据治理和数据服务。主要包含：

1、元数据管理

元数据用以帮助查找、存取、使用和管理数据资源。一般分为基础元数据、业务元数据和数据治理策略集。

基础元数据：描述数据基础属性的元数据。如，身份z号。

业务元数据：描述业务属性的元素。如，犯罪嫌疑人身份z号。

数据治理策略集：数据预处理中对数据组织的策略和数据血缘关系定义等。

2、元数据服务

由平台提供数据资源元数据相关应用的服务。

3、数据接入

对不同来源的数据按照元数据定义进行标准化，向下一步数据处理环节推送。

4，数据对账

数据提供方和数据接收方，在传输结束后，进行数据完整性、一致性、正确性检验。

5，数据标准化

依托数据资源管理国家标准、公安行业标准体系，纳入元数据管理、数据元素标注逻辑，并按照统一格式和规则对数据的定义、组织、监督和保护进行标准化的过程，贯穿数据接入、预处理和共享服务的全流程。

6，数据预处理

包括数据提取、清洗、关联、比对、标识。

7，数据组织

按照业务需求的方式和规则，对数据进行归并、存储、处理的过程。

8，数据分级分类

针对数据的敏感程度、密级程度或开放范围进行划分，构建合理的数据分级管理体系。

针对数据来源、业务属性、数据类型进行划分，构建数据的分类管理体系。

9，数据鉴权

基于数据的访问控制规则，实现数据的访问权限鉴别过程。

10，数据目录

数据资源的统一管理，提供数据资源的注册、编目、查询、目录接口服务、数据元对标等。

11，索引服务

对海量数据资源提取信息、组织信息以供快速检索。

12，标签服务

13，算法服务

14，模型服务

15，数据接口服务

16，工具引擎服务

在整个云计算的生命体当中，数据是血液，dass层，是心脏，数据的来龙去脉、时效性、完整性、准确性，始终是一个核心问题。

简单来讲，云即是网络、互联网，所谓云计算就是利用在Internet中可用的计算系统，能够支持互联网各类应用的系统。

云计算是以第三方拥有的机制提供服务，为了完成功能，用户只关心需要的服务。那这些服务，很多人问我云计算与网格计算他们又有什么关系呢?这里我告诉你云计算跟网格计算什么关系都没有，网格计算，即分布式计算，是一门计算机科学。它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，完后把这些计算结果综合起来得到结果。

云计算是从网格计算演化来的，能够随需应变地提供资源。通常情况下，云计算采用计算机集群构成数据中心，并以服务的形式交付给用户，使得用户可以像使用水、电一样按需购买云计算资源。从这个角度看，云计算与网格计算的目标非常相似，其实不是的。

那Linux怎么又跟云计算扯上关系了呢?

云计算和存储经由 Internet 将物理资源转换成可伸缩的共享资源。尽管虚拟化不是一个新概念，但是依靠服务器虚拟化共享物理系统使得云计算和存储更加高效、伸缩性更强。用云计算，用户可以访问大量的计算和存储资源，并且不必关心它们的位置和它们是如何配置的。

正如您所料，Linux 在这个过程中扮演了重要的角色。业界一致的观点就是云计算将架构在开源软件之上，并且大部分基础应用都将基于开源软件。因为大家都知道，作为集中式的服务平台，开放性永远是其关键要素之一，同时开源软件的灵活性和可扩展性也完全吻合云计算的发展趋势，现在知道了吧，有了Linux才能有云计算。

---