大数据存储管理系统主要包括

分布式文件存储，NoSQL数据库，NewSQL数据库。
分布式文件存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散存储在企业的各个角落。分布式文件存储采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
NoSQL泛指非关系型的数据库，NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。关系型数据库已经无法满足Web20的需求，主要表现为：无法满足海量数据的管理需求、无法满足数据高并发的需求、高可扩展性和高可用性的功能太低。
NewSQL是各种新的可扩展/高性能数据库的简称，这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。

分类: 电脑/网络 >> 互联网
解析:

itzqsplc/Article_PrintArticleID=2671

nas是neork attached storage 的简称，中文称为网络附加存储。再nas存储结构中，存储系统不再通过i/0总线附属某个特定的服务器或客户机，而是直接通过网络接口与网络直接连接，由用户通过网络访问。

nas实际上是一个带有瘦服务器(thin server)的存储设备，其作用类似于一个专用的文件服务器。这种专用存储服务器不同于传统的通用服务器，它去掉了通用的服务器原有的不适用的大多数计算功能，而仅仅提供文件系统功能，用于存储服务，大大降低了存储设备的成本。这种专用存储服务器不同于传统的通用服务器，它去掉了通用服务器原有的不适用的大多数计算功能，而仅仅提供文件系统功能，用于存储服务，大大降低了存储设备的成本。为方便存储到网络之间以最有效的方式发送数据，专门优化了系统硬软件体系结构，多线程、多任务的网络 *** 作系统内核特别适合于处理来自网络的i/o请求，不仅响应速度快，而且数据传输速率也很高。

与传统以服务器为中心的存储系统相比，数据不再通过服务器内存转发（这回引起额外延迟和阻塞），直接再客户机和存储设备间传送（即所谓第三方传送），服务器仅起控制管理的作用，因而具有更快的相应速度和更高的数据带宽。另外，对服务器的要求降低，可大大降低服务器成本，这样就有利于高性能存储系统在更光的范围内普及应用。
它具有较好的协议独立性，支持unix、neare、windows nt、os/2或intra web的数据访问，客户端也不需要任何专用的软件，安装简易，甚至可以充当其它机器的网络驱动器，可以方便的利用现有的管理工具进行管理。 与传统的通用服务器不同，nas专用服务器能在不增加复杂度，管理开销，降低可靠性的基础上，使网络的存储容量增加，具有非常好的可扩展（scalability）。由于不需要服务器提供更多的硬件及服务，使服务器的可靠性和i/o性能大大提高，能充分利用可得到的10m~100mb网络带宽，有较大的数据吞吐量。 nas可以通过集线器（hub）或交换机tch）方便地接入到用户网络上，是一种即插即用的网络设备。为用户提供了易于安装、易于使用和管理、可靠性高和可扩展性好的网络存储解决方案。 nas使文件访问 *** 作更为快捷，并且易于向基础设施增加文件存储容量。因为nas关注的是文件服务而不是实际文件系统的执行情况，所以nas设备经常是自包含的，而且相当易于部署。 nas设备与客户机之间主要是进行数据传输。今天在lan/wan上传输的大量数据被分成许多小的数据块。传输的处理过程需要占用处理器资源来中断和重新访问数据流。如果数据包的处理占用太多的处理器资源，则在同一服务器上运行的应用程序会受到影响。由于网络拥堵影响nas的性能，所以，其性能局限性之一是网络传输数据的能力。此外， nas存储的可扩展性也受到设备大小的限制。增加另一台设备非常容易，但是要像访问一台机器上的数据那样访问网络环境中的内容并不容易，因为nas设备通常具有独特的网络标识符。由于上述这些限制，nas环境中的数据备份不是集中化的，因此仅限于使用直接连接设备（如专用磁带机或磁带库）或者基于网络的策略，在该策略中，设备上的数据通过企业或专用lan进行备份。 与san不同，nas是部件级的存储方法。nas将存储设备通过标准的网络拓扑结构连接到一群计算机上，所以nas在适用性方面具有不少优势。首先，nas可以无需服务器直接上网，不依赖通用的 *** 作系统，而是采用一个面向用户设计的、专门用于数据存储的简化 *** 作系统，内置了与网络连接所需的协议，因此使整个系统的管理和设置较为简单，其次nas是真正即插即用的产品，并且物理位置灵活，可放置在工作组内，也可放在其他地点与网络连接。 nas没有解决好的一个关键性问题，是其在备份过程中的带宽消耗，网络带宽要同时满足存储和正常的数据访问。现在，一个比较一致的看法是：nas可以很经济地解决存储容量不足的问题，但难以获得满意的性能，对于关键事务应用而言，它必须使用专用的宽带网段; 因此，如果公司的发展将需要大量的nas设备或是网络带宽需求超过千兆以太网，就应该考虑最高端的存储解决方案san。不过，从适用性和tco的角度出发，nas依然应该是国内多数企业的首选结构。 nas分类 电器型服务器电器型服务器是nas系列设备中最低端的产品。与本文中的其他存储方案不同，电器型服务器不是专门附加的存储设备。它们为网络提供了一个存储的位置，但是由于没有冗余的以及和高性能的组件，它们相对比较便宜。如果你十分注重高可靠性或一流的性能(而且你愿意为此多花一些成本)，还是应当考虑nas类的更高端产品。

华为存储有OceanStor 系列，但是根据型号不同各司其职。
华为服务器大概有三个系列：KunLun，TaiShan，FusionCube。
如果你想继续了解具体某个型号的架构可以继续提问。

随着互联网的发展，越来越多的信息充斥在网络上，而大数据就是依靠对这些信息的收集、分类、归纳整理出我们所需要的信息，然后利用这些信息完成一些工作需要的一项能力技术。

今天，回龙观电脑培训主要就是来分析一下，大数据这项技术到底有那几个层次。

移动互联网时代，数据量呈现指数级增长，其中文本、音视频等非结构数据的占比已超过85%，未来将进一步增大。Hadoop架构的分布式文件系统、分布式数据库和分布式并行计算技术解决了海量多源异构数据在存储、管理和处理上的挑战。

从2006年4月第一个ApacheHadoop版本发布至今，Hadoop作为一项实现海量数据存储、管理和计算的开源技术，已迭代到了v272稳定版，其构成组件也由传统的三驾马车HDFS、MapReduce和HBase社区发展为由60多个相关组件组成的庞大生态，包括数据存储、执行引擎、编程和数据访问框架等。其生态系统从10版的三层架构演变为现在的四层架构：

底层——存储层

现在互联网数据量达到PB级，传统的存储方式已无法满足高效的IO性能和成本要求，Hadoop的分布式数据存储和管理技术解决了这一难题。HDFS现已成为大数据磁盘存储的事实标准，其上层正在涌现越来越多的文件格式封装(如Parquent)以适应BI类数据分析、机器学习类应用等更多的应用场景。未来HDFS会继续扩展对于新兴存储介质和服务器架构的支持。另一方面，区别于常用的Tachyon或Ignite，分布式内存文件系统新贵Arrow为列式内存存储的处理和交互提供了规范，得到了众多开发者和产业巨头的支持。

区别于传统的关系型数据库，HBase适合于非结构化数据存储。而Cloudera在2023年10月公布的分布式关系型数据库Kudu有望成为下一代分析平台的重要组成，它的出现将进一步把Hadoop市场向传统数据仓库市场靠拢。

中间层——管控层

管控层对Hadoop集群进行高效可靠的资源及数据管理。脱胎于MapReduce10的YARN已成为Hadoop20的通用资源管理平台。如何与容器技术深度融合，如何提高调度、细粒度管控和多租户支持的能力，是YARN需要进一步解决的问题。另一方面，Hortonworks的Ranger、Cloudera的Sentry和RecordService组件实现了对数据层面的安全管控。

---