请问什么是数据挖掘

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据挖掘流程：

定义问题：清晰地定义出业务问题，确定数据挖掘的目的。

数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。

数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。

结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法)大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性)。大数据需要特殊的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、、地理位置信息等等。第三，数据的来源，直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实，最终的分析结果以及决定将更加准确。第四，处理速度快，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”

从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

搜索下各种百科，上面都有。说白了，就是数据量非常庞大。这确实是近几年的热点问题。

自从阿里云宣布向全球公共科研机构免费开放一切AI算力后，何万青博士就进入了连轴转状态，经常工作到凌晨。作为阿里云高性能计算团队负责人，他要对接大量科研机构、高校院所以及化学、生物医学专家的需求。

这些机构和专家，在这个特殊的阶段，都是想快捷利用阿里云的超大规模算力，来缩短药物研发周期，以尽早让相关的疫苗、特效药上市，控制住新型冠状病毒感染肺炎疫情。

在免费开放算力之前，阿里云的超大规模算力早就服务于多家生物医药机构和专家，一个典型代表就是全球 健康 药物研发中心GHDDI。

GHDDI是由盖茨基金会、清华大学和北京市政府三方联合成立的公共卫生与药物创新机构。主要为建设新药研发和转化的创新平台，加强医药研究和开发。

2017年，GHDDI成立的第二年，阿里云就开始为GHDDI的各类新药研发、化合物筛选等提供算力支持。

在新型冠状病毒感染肺炎疫情发生后，GHDDI也在1月27日上线了“一站式科研数据与信息共享平台”，这是一个基于阿里云的药物研发和大数据平台，主要功能有四个：

针对SARS/MERS等冠状病毒的 历史 药物研发进行数据挖掘与集成；

开放相关临床前和临床数据资源；

计算靶点和药物分子性质；

跟进新型冠状病毒最新科研动态，实时向科学界和公众公布，为新型冠状病毒科学研究提供重要数据支撑。

很多人会有疑问，药物研发属于生物医学领域，超大规模算力属于计算机科学领域，为什么药物研发要用到超大规模算力？而且GHDDI宣布上线研发平台以及阿里云宣布免费提供相关算力后，为什么众多机构和专家趋之若鹜？

何万青博士说，这跟药物研发的流程不无关系。

通常一款药物的研发，始于病毒的“毒株分离”，然后进行测序分析；找到病毒的靶点进行识别和验证；寻找对应化合物；合成先导化合物；评估研究和动物实验；制剂合成；临床试验以及上市等步骤。

说起来很简单，实际上新药研发却是个费钱费力更费时间的过程，数据显示，在美国研发一种新药，从项目启动到被FDA（美国食品药品监督管理局）批准上市，平均需要花费10-15年的时间，耗资超过13亿美元。

目前，针对新型冠状病毒疫苗和新药的研究，已经完成了“毒株分离”的“湿实验”，“基因测序”工作也已经结束，接下来就要了“干实验”阶段。“干实验”阶段，涵盖对病毒靶点进行识别和验证、寻找对应化合物等过程。

可以这么理解，生物医药领域的“湿实验”，主要是在实验室里的研究工作，“干实验”就要靠超大规模算力帮忙。

何万青博士解释，“特别是寻找对应化合物，一定要调用超大规模算力，因为可供制成药物的化合物有5000-15000种。要先从庞杂的化合物中找到针对病毒合适的‘进攻方向’，再进行合成和拼接，如果都要从实验室里一一比对，那就太浪费时间了。”

然而云计算可以解决这些耗时的环节。

例如与阿里云合作的全球 健康 药物研发中心GHDDI，具备了上千种化合物的数据库，这些化合物的性质、药效也都已经掌握，通过计算机模拟，可以加快找到遏制新型冠状病毒对应化合物的速度。

特别重要的是，面对人类共同的敌人-病毒，公共科研机构更需要无需排队，随时可以得到d性伸缩、数据交流和发布更加方便的协同环境。

“在全国人民为配合切断病毒传染途经而自我隔离的情况下，阿里云d性高性能计算EHPC平台和超级计算集群SCC恰好解决这个燃眉之急。这也印证了阿里的一句土话‘此时此刻，非我莫属’。”何博士说。

但是，就算通过云计算找到了对应化合物，按照流程还要进行“先导化合物合成”、“动物实验”、“临床实验”等一大堆繁琐的步骤，药物和疫苗研发的速度，极有可能赶不上疫情发展的周期。

换句话说，就是没等新药研发出来，疫情就已经结束了。

好在针对新型冠状病毒新药和疫苗的研发，还有一条路可以选，“老药新用”。

“老药新用”指的不仅仅是药物，还可以是相关的治疗经验。

此前类似的SARS/MERS等疫情爆发后，医学界留有大量的 历史 药物研发以及临床数据，还有很多医学文献散落全球各地，这些都可能成为这次新型冠状病毒治疗突破口。

调用筛选医学文献，分析 历史 数据时，超大规模算力也会派上大用场。

比如GHDDI在上线研发平台就表示，目前研发平台已经涵盖既往冠状病毒相关研究中涉及的900多个小分子在不同阶段的相关实验信息，“希望科研界能参与提炼有用信息并得到帮助或启示”。

何博士感慨，“有了超大规模算力的帮助，在‘军情紧急’的情况下，也不用完全从‘0’开始了。”

而GHDDI上线研发平台后，也致谢阿里云团队协助部署后端并提供计算资源。

何万青博士团队中还有很多技术专家，比如孙相征和余洋等人，目前的工作就是对接GHDDI以及各类科研机构、专家们的需求。

这些计算机科学领域的大牛说，他们并不是医学专业出身，能做的只是为研究人员提供算力保障、优化技术支持和应用答疑等“后勤工作”，让科学家能够专注于学科本身的科研突破，而无需耗费太多精力去学习“交叉学科”的计算技术，但是他们看到了越来越多的生物医学专家加入了进来，感受到了“很强的使命感”，大家都在用自己的绵薄之力，加速对新型冠状病毒的研究以及相关药物、疫苗的研发。

数据挖掘(DataMining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据挖掘对象

根据信息存储格式，北大青鸟昌平镇计算机学院认为用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。

数据挖掘流程

定义问题：清晰地定义出业务问题，确定数据挖掘的目的。

数据准备：数据准备包括：选择数据_在大型数据库和数据仓库目标中提取数据挖掘的目标数据集;数据预处理_进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。

数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。

结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

数据挖掘分类

直接数据挖掘：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量(可以理解成数据库中表的属性，即列)进行描述。

间接数据挖掘：目标中没有选出某一具体的变量，用模型进行描述;而是在所有的变量中建立起某种关系。

数据挖掘的方法

神经网络方法

神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。

遗传算法

遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。

决策树方法

决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。

数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

数据挖掘是数据库中知识发现(knowledge discovery in database, KDD)不可缺少的一部分，而KDD是将未加工的数据转换为有用信息的整个过程，该过程包括一系列转换步骤， 从数据的预处理到数据挖掘结果的后处理。

数据挖掘的起源

来自不同学科的研究者汇集到一起，开始着手开发可以处理不同数据 类型的更有效的、可伸缩的工具。这些工作都是建立在研究者先前使用的方法学和算法之上，而在数据挖掘领域达到高潮。

特别地，数据挖掘利用了来自如下一些领域的思想：(1)来自统计学的抽样、估计和假设检验；(2)人工智能、模式识别和机器学习的搜索算法建模技术和学习理论。

数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息检索。

一些其他领域也起到重要的支撑作用。数据库系统提供有效的存储、索引和查询处理支持。源于高性能（并行）计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。

KDD(Knowledge Discovery from Database)

数据清理

消除噪声和不一致的数据；

数据集成

多种数据源可以组合在一起；

数据选择

从数据库中提取与分析任务相关的数据；

数据变换

通过汇总或聚集 *** 作，把数据变换和统一成适合挖掘的形式；

数据挖掘

基本步骤，使用智能方法提取数据模式；

模式评估

根据某种兴趣度，识别代表知识的真正有趣的模式；

知识表示

使用可视化和知识表示技术，向用户提供挖掘的知识。

数据挖掘方法论

业务理解（business understanding）

从商业角度理解项目的目标和要求，接着把这些理解知识通过理论分析转化为数据挖掘可 *** 作的问题，制定实现目标的初步规划；

数据理解（data understanding）

数据理解阶段开始于原始数据的收集，然后是熟悉数据、甄别数据质量问题、探索对数据的初步理解、发觉令人感兴趣的子集以形成对探索信息的假设；

数据准备（data preparation）

数据准备阶段指从最初原始数据中未加工的数据构造数据挖掘所需信息的活动。数据准备任务可能被实施多次，而且没有任何规定的顺序。这些任务的主要目的是从源系统根据维度分析的要求，获取所需要的信息，需要对数据进行转换、清洗、构造、整合等数据预处理工作；

建模（modeling）

在此阶段，主要是选择和应用各种建模技术。同时对它们的参数进行调优，以达到最优值。通常对同一个数据挖掘问题类型，会有多种建模技术。一些技术对数据形式有特殊的要求，常常需要重新返回到数据准备阶段；

模型评估（evaluation）

在模型部署发布前，需要从技术层面判断模型效果和检查建立模型的各个步骤，以及根据商业目标评估模型在实际商业场景中的实用性。此阶段关键目的是判断是否存在一些重要的商业问题仍未得到充分考虑；

模型部署（deployment）

模型完成后，由模型使用者（客户）根据当时背景和目标完成情况，封装满足业务系统使用需求。

数据挖掘任务

通常，数据挖掘任务分为下面两大类。

预测任务。这些任务的目标是根据其他属性的值，预测特定属性的值。被预测的属性一 般称目标变量(targetvariable)或因变量(dependentvariable), 而用来做预测的属性称说明变量(explanatoryvariable)或自变量(independentvariable)。

描述任务。其目标是导出概括数据中潜在联系的模式（相关、趋势、聚类、轨迹和异常）。本质上，描述性数据挖掘任务通常是探查性的，并且常常需要后处理技术验证和解释结果。

预测建模(predictivemodeling) 涉及以说明变量函数的方式为目标变量建立模型。

有两类预测建模任务：分类(classification)，用于预测离散的目标变量；回归(regression)，用于预测连续的目标变量。

例如，预测一个Web用户是否会在网上书店买书是分类任务，因为该目标变量是二值的，而预测某股票的未来价格则是回归任务，因为价格具有连续值属性。

两项任务目标都是训练一个模型，使目标变量预测值与实际值之间的误差达到最小。预测建模可以用来确定顾客对产品促销活动的反应，预测地球生态系统的扰动，或根据检查结果判断病人是否患有某种疾病。

关联分析(association analysis) 用来发现描述数据中强关联特征的模式。

所发现的模式通常用蕴涵规则或特征子集的形式表示。由于搜索空间是指数规模的，关联分析的目标是以有效的方式提取最有趣的模式。关联分析的应用包括找出具有相关功能的基因组、识别用户一起访问的Web页面、 理解地球气候系统不同元素之间的联系等。

聚类分析(cluster analysis)旨在发现紧密相关的观测值组群，使得与属于不同簇的观测值相比， 属于同一簇的观测值相互之间尽可能类似。聚类可用来对相关的顾客分组、找出显著影响 地球气候的海洋区域以及压缩数据等。

异常检测(anomaly detection) 的任务是识别其特征显著不同于其他数据的观测值。

这样的观测值称为异常点(anomaly)或离群点(outlier)。异常检测算法的目标是发现真正的异常点，而避免错误地将正常的对象标注为异常点换言之，一个好的异常检测器必须具有高检测率和低误报率。

异常检测的应用包括检测欺诈、网络攻击、疾病的不寻常模式、生态系统扰动等。

数据挖掘就是从大量的数据中，提取隐藏在其中的，事先不知道的、但潜在有用的信息的过程。数据挖掘的目标是建立一个决策模型，根据过去的行动数据来预测未来的行为。比如分析一家公司的不同用户对公司产品的购买情况，进而分析出哪一类客户会对公司的产品有兴趣。在讲究实时、竞争激烈的网络时代，若能事先破解消费者的行为模式，将是公司获利的关键因素之一。数据挖掘是一门交叉学科，它涉及了数据库，人工智能，统计学，可视化等不同的学科和领域。

数据挖掘是数据库中知识发现不可缺少的一部分，而KDD是将未加工的数据转换为有用信息的整个过程，该过程包括一系列转换步骤， 从数据的预处理到数据挖掘结果的后处理。

以上就是关于请问什么是数据挖掘全部的内容，包括:请问什么是数据挖掘、什么是大数据，什么又是数据挖掘、加速新冠疫苗研发，阿里云免费开放一切AI算力等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！