大数据正在如何改变数据库格局

大数据正在如何改变数据库格局

提及“数据库”，大多数人会想到拥有30多年风光历史的RDBMS。然而，这可能很快就会发生改变。

一大批新的竞争者都在争夺这一块重要市场，他们的方法是多种多样的，却都有一个共同点：极其专注于大数据。推动新的数据迭代衍生品大部分都是基于底层大数据的3V特征：数量，速度和种类。本质上来讲，今天的数据比以往任何时候都要传输更快，体积更大，同时更加多样化。这是一个新的数据世界，换言之，传统的关系数据库管理系统并没有真正为此而设计。“基本上，他们不能扩展到大量，或快速，或不同种类的数据。”一位数据分析、数据科学咨询机构的总裁格雷戈里认为。这就是哈特汉克斯最近发现。截至到2013年左右，营销服务机构使用不同的数据库，包括MicrosoftSQLServer和Oracle真正应用集群（RAC）的组合。“我们注意到，数据随着时间的增长，我们的系统不能足够快速的处理信息”一位科技发展公司的负责人肖恩说到。“如果你不断地购买服务器，你只能继续走到这幺远，我们希望确保自己有向外扩展的平台。”最小化中断是一个重要的目标，Iannuzzi说到，因此“我们不能只是切换到Hadoop。”相反，却选择了拼接机器，基本上把完整的SQL数据库放到目前流行的Hadoop大数据平台之上，并允许现有的应用程序能够与它连接，他认为。哈特汉克斯现在是在执行的初期阶段，但它已经看到了好处，Iannuzzi说，包括提高容错性，高可用性，冗余性，稳定性和“性能全面提升”。一种完美风暴推动了新的数据库技术的出现，IDC公司研究副总裁CarlOlofson说到。首先，“我们正在使用的设备与过去对比，处理大数据集更加快速，灵活性更强”Olofson说。在过去，这样的集合“几乎必须放在旋转磁盘上”，而且数据必须以特定的方式来结构化，他解释说。现在有64位寻址，使得能够设置更大的存储空间以及更快的网络，并能够串联多台计算器充当单个大型数据库。“这些东西在不可用之前开辟了可能性”Olofson说。与此同时，工作负载也发生了变化。10年前的网站主要是静态的，例如，今天我们享受到的网络服务环境和互动式购物体验。反过来，需要新的可扩展性，他说。公司正在利用新的方式来使用数据。虽然传统上我们大部分的精力都放在了对事务处理_销售总额的记录，比如，数据存储在可以用来分析的地方_现在我们做的更多。应用状态管理就是一个例子假设你正在玩一个网络游戏。该技术会记录你与系统的每个会话并连接在一起，以呈现出连续的体验，即使你切换设备或各种移动，不同的服务器都会进行处理，Olofson解释说。数据必须保持连续性，这样企业才可以分析问题，例如“为什么从来没有人穿过水晶厅”。在网络购物方面，为什么对方点击选择颜色后大多数人不会购买某个特殊品牌的鞋子。“以前，我们并没试图解决这些问题，或者我们试图扔进盒子也不太合适”Olofson说。Hadoop是当今新的竞争者中一个重量级的产品。虽然他本身不是一个数据库，它的成长为企业解决大数据扮演关键角色。从本质上讲，Hadoop是一个运行高度并行应用程序的数据中心平台，它有很强的可扩展性。通过允许企业扩展“走出去”的分布方式，而不是通过额外昂贵的服务器“向上”扩展，“它使得我们可以低成本地把一个大的数据集汇总，然后进行分析研究成果”Olofson说。其他新的RDBMS的替代品如NoSQL家族产品，其中包括MongoDB-目前第四大流行数据库管理系统，比照DB引擎和MarkLogic非结构化数据存储服务。“关系型数据库一直是一项伟大的技术持续了30年，但它是建立在不同的时代有不同的技术限制和不同的市场需求，”MarkLogic的执行副总裁乔·产品帕卡说。大数据是不均匀的，他说。许多传统的技术，这仍然是一个基本要求。“想象一下，你的笔记本电脑上唯一的程序是Excel”帕卡说。“设想一下，你要和你的朋友利用网络保持联系_或者你正在写一个合约却不适合放进行和列中。”拼接数据集是特别棘手的“关系型，你把所有这些数据集中在一起前，必须先决定如何去组织所有的列，”他补充说。“我们可以采取任何形式或结构，并立即开始使用它。”NoSQL数据库没有使用关系数据模型，并且它们通常不具有SQL接口。尽管许多的NoSQL存储折中支持速度等其他因素，MarkLogic为企业定身量做，提供更为周全的选择。NoSQL储存市场有相当大的增长，据市场研究媒体，不是每个人都认为这是正确的做法-至少，不是在所有情况下。NoSQL系统“解决了许多问题，他们横向扩展架构，但他们却抛出了SQL，”一位CEO-MonteZweben说。这反过来，又为现有的代码构成问题。SpliceMachine是一家基于Hadoop的实时大数据技术公司，支持SQL事务处理，并针对OLAP和OLAP应用进行实时优化处理。它被称为替代NewSQL的一个例子，另一类预期会在未来几年强劲增长。“我们的理念是保持SQL，但横向扩展架构”Zweben说。“这是新事物，但我们正在努力试图使它让人们不必重写自己的东西。”深度信息科学选择并坚持使用SQL，但需要另一种方法。公司的DeepSQL数据库使用相同的应用程序编程接口（API）和关系模型如MySQL，意味着没有应用变化的需求而使用它。但它以不同的方式处理数据，使用机器学习。DeepSQL可以自动适应使用任何工作负载组合的物理，虚拟或云主机，该公司表示，从而省去了手动优化数据库的需要。该公司的首席战略官ChadJones表示，在业绩大幅增加的同时，也有能力将“规模化”为上千亿的行。一种来自Algebraix数据完全不同的方式，表示已经开发了数据的第一个真正的数学化基础。而计算器硬件需在数学建模前建成，这不是在软件的情况下，Algebraix首席执行官查尔斯银说。“软件，尤其是数据，从未建立在数学的基础上”他说，“软件在很大程度上是语言学的问题。”经过五年的研发，Algebraix创造了所谓的“数据的代数”集合论，“数据的通用语言”Silver说。“大数据肮脏的小秘密是数据仍然放在不与其他数据小仓融合的地方”Silver解释说。“我们已经证明，它都可以用数学方法来表示所有的集成。”配备一个基础的平台，Algebraix现在为企业提供业务分析作为一种服务。改进的性能，容量和速度都符合预期的承诺。时间会告诉我们哪些新的竞争者取得成功，哪些没有，但在此期间，长期的领导者如Oracle不会完全停滞不前。“软件是一个非常时尚行业”安德鲁·门德尔松，甲骨文执行副总裁数据库服务器技术说。“事情经常去从流行到不受欢迎，回再次到流行。”今天的许多创业公司“带回炒冷饭少许抛光或旋转就可以了”他说。“这是一个新一代孩子走出学校和重塑的东西。”SQL是“唯一的语言，可以让业务分析师提出问题并得到答案，他们没有程序员，”门德尔松说。“大市场将始终是关系型。”至于新的数据类型，关系型数据库产品早在上世纪90年代发展为支持非结构化数据，他说。在2013年，甲骨文的同名数据库版本12C增加了支持JSON（JavaScript对象符号）。与其说需要一个不同类型的数据库，它更是一种商业模式的转变，门德尔松说。“云，若是每个人都去，这将破坏这些小家伙”他说。“大家都在云上了，所以在这里有没有地方来放这些小家伙？“他们会去亚马逊的云与亚马逊竞争？”他补充说。“这将是困难的。”甲骨文有“最广泛的云服务”门德尔松说。“在现在的位置，我们感觉良好。”Gartner公司的研究主任里克·格林沃尔德，倾向于采取了类似的观点。“对比传统强大的RDBMS，新的替代品并非功能齐全”格林沃尔德说。“一些使用案例可以与新的竞争者来解决，但不是全部，并非一种技术”。展望未来，格林沃尔德预计，传统的RDBMS供货商感到价格压力越来越大，并为他们的产品增加新的功能。“有些人会自由地带来新的竞争者进入管理自己的整个数据生态系统”他说。至于新的产品，有几个会生存下来，他预测“许多人将被收购或资金耗尽”。今天的新技术并不代表传统的RDBMS的结束，“正在迅速发展自己”IDC的Olofson。赞成这种说法，“RDBMS是需要明确定义的数据_总是会有这样一个角色。”但也会有一些新的竞争者的角色，他说，特别是物联网技术和新兴技术如非易失性内存芯片模块（NVDIMM）占据上风。

紧抓大数据产业机遇应对脱欧后的经济挑战是英国的大数据发展战略。大数据战略是信息技术领域新一轮的革命，引领社会变革的利器，各国政府都在开始进行大数据战略布局。大数据战略已经成为英国政府目前大力发展的战略领域之一。英国大数据战略是紧抓大数据产业机遇应对脱欧后的经济挑战。其主要措施是加大投资技术研发，建设强大的基础数据库，重视数据的开放性等，其特点是政府积极引导大数据战略，并通过大数据战略树立透明的政府、智慧的政府和责任的政府形象。

作者 | 网络大数据

来源 | 产业智能官

数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。其中主要工作环节包括：

大数据采集 大数据预处理 大数据存储及管理 大数据分析及挖掘 大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。

一、大数据采集技术

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型，开发数据质量技术。

大数据采集一般分为：

大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。

基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策 *** 作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

二、大数据预处理技术

完成对已接收数据的辨析、抽取、清洗等 *** 作。

抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

三、大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术;开发大数据可视化技术。

开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。

开发大数据安全技术：改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

四、大数据分析及挖掘技术

大数据分析技术：改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。

机器学习中，可细分为归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

从挖掘任务和挖掘方法的角度，着重突破：

可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。 数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。 预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。 语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。 数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。

预测分析成功的7个秘诀

预测未来一直是一个冒险的命题。幸运的是，预测分析技术的出现使得用户能够基于历史数据和分析技术(如统计建模和机器学习)预测未来的结果，这使得预测结果和趋势变得比过去几年更加可靠。

尽管如此，与任何新兴技术一样，想要充分发挥预测分析的潜力也是很难的。而可能使挑战变得更加复杂的是，由不完善的策略或预测分析工具的误用导致的不准确或误导性的结果可能在几周、几个月甚至几年内才会显现出来。

预测分析有可能彻底改变许多的行业和业务，包括零售、制造、供应链、网络管理、金融服务和医疗保健。AI网络技术公司Mist Systems的联合创始人、首席技术官Bob fridy预测:“深度学习和预测性AI分析技术将会改变我们社会的所有部分，就像十年来互联网和蜂窝技术所带来的转变一样。”。

这里有七个建议，旨在帮助您的组织充分利用其预测分析计划。

1能够访问高质量、易于理解的数据

预测分析应用程序需要大量数据，并依赖于通过反馈循环提供的信息来不断改进。全球IT解决方案和服务提供商Infotech的首席数据和分析官Soumendra Mohanty评论道:“数据和预测分析之间是相互促进的关系。”

了解流入预测分析模型的数据类型非常重要。“一个人身上会有什么样的数据” Eric Feigl - Ding问道，他是流行病学家、营养学家和健康经济学家，目前是哈佛陈氏公共卫生学院的访问科学家。“是每天都在Facebook和谷歌上收集的实时数据，还是难以访问的医疗记录所需的医疗数据”为了做出准确的预测，模型需要被设计成能够处理它所吸收的特定类型的数据。

简单地将大量数据扔向计算资源的预测建模工作注定会失败。“由于存在大量数据，而其中大部分数据可能与特定问题无关，只是在给定样本中可能存在相关关系，”FactSet投资组合管理和交易解决方案副总裁兼研究主管Henri Waelbroeck解释道，FactSet是一家金融数据和软件公司。“如果不了解产生数据的过程，一个在有偏见的数据上训练的模型可能是完全错误的。”

2找到合适的模式

SAP高级分析产品经理Richard Mooney指出，每个人都痴迷于算法，但是算法必须和输入到算法中的数据一样好。“如果找不到适合的模式，那么他们就毫无用处，”他写道。“大多数数据集都有其隐藏的模式。”

模式通常以两种方式隐藏:

模式位于两列之间的关系中。例如，可以通过即将进行的交易的截止日期信息与相关的电子邮件开盘价数据进行比较来发现一种模式。Mooney说:“如果交易即将结束，电子邮件的公开率应该会大幅提高，因为买方会有很多人需要阅读并审查合同。”

模式显示了变量随时间变化的关系。“以上面的例子为例，了解客户打开了200次电子邮件并不像知道他们在上周打开了175次那样有用，”Mooney说。

3 专注于可管理的任务，这些任务可能会带来积极的投资回报

纽约理工学院的分析和商业智能主任Michael Urmeneta称:“如今，人们很想把机器学习算法应用到海量数据上，以期获得更深刻的见解。”他说，这种方法的问题在于，它就像试图一次治愈所有形式的癌症一样。Urmeneta解释说:“这会导致问题太大，数据太乱——没有足够的资金和足够的支持。这样是不可能获得成功的。”

而当任务相对集中时，成功的可能性就会大得多。Urmeneta指出:“如果有问题的话，我们很可能会接触到那些能够理解复杂关系的专家” 。“这样，我们就很可能会有更清晰或更好理解的数据来进行处理。”

4使用正确的方法来完成工作

好消息是，几乎有无数的方法可以用来生成精确的预测分析。然而，这也是个坏消息。芝加哥大学NORC (前国家意见研究中心)的行为、经济分析和决策实践主任Angela Fontes说:“每天都有新的、热门的分析方法出现，使用新方法很容易让人兴奋”。“然而，根据我的经验，最成功的项目是那些真正深入思考分析结果并让其指导他们选择方法的项目——即使最合适的方法并不是最性感、最新的方法。”

罗切斯特理工学院计算机工程系主任、副教授shanchie Jay Yang建议说:“用户必须谨慎选择适合他们需求的方法”。“必须拥有一种高效且可解释的技术，一种可以利用序列数据、时间数据的统计特性，然后将其外推到最有可能的未来，”Yang说。

5用精确定义的目标构建模型

这似乎是显而易见的，但许多预测分析项目开始时的目标是构建一个宏伟的模型，却没有一个明确的最终使用计划。“有很多很棒的模型从来没有被人使用过，因为没有人知道如何使用这些模型来实现或提供价值，”汽车、保险和碰撞修复行业的SaaS提供商CCC信息服务公司的产品管理高级副总裁Jason Verlen评论道。

对此，Fontes也表示同意。“使用正确的工具肯定会确保我们从分析中得到想要的结果……”因为这迫使我们必须对自己的目标非常清楚，”她解释道。“如果我们不清楚分析的目标，就永远也不可能真正得到我们想要的东西。”

6在IT和相关业务部门之间建立密切的合作关系

在业务和技术组织之间建立牢固的合作伙伴关系是至关重要的。客户体验技术提供商Genesys的人工智能产品管理副总裁Paul lasserr说:“你应该能够理解新技术如何应对业务挑战或改善现有的业务环境。”然后，一旦设置了目标，就可以在一个限定范围的应用程序中测试模型，以确定解决方案是否真正提供了所需的价值。

7不要被设计不良的模型误导

模型是由人设计的，所以它们经常包含着潜在的缺陷。错误的模型或使用不正确或不当的数据构建的模型很容易产生误导，在极端情况下，甚至会产生完全错误的预测。

没有实现适当随机化的选择偏差会混淆预测。例如，在一项假设的减肥研究中，可能有50%的参与者选择退出后续的体重测量。然而，那些中途退出的人与留下来的人有着不同的体重轨迹。这使得分析变得复杂，因为在这样的研究中，那些坚持参加这个项目的人通常是那些真正减肥的人。另一方面，戒烟者通常是那些很少或根本没有减肥经历的人。因此，虽然减肥在整个世界都是具有因果性和可预测性的，但在一个有50%退出率的有限数据库中，实际的减肥结果可能会被隐藏起来。

六、大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。

在我国，大数据将重点应用于以下三大领域：商业智能 、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统)，大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

以上就是关于大数据正在如何改变数据库格局全部的内容，包括:大数据正在如何改变数据库格局、紧抓大数据产业机遇应对脱欧后的经济挑战是什么的大数据发展战略、大数据处理的五大关键技术及其应用等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！