数据分析师，数据挖掘师，大数据工程师，三者的工作有何区别？

大数据是互联网上海量的数据挖掘，而数据挖掘更多的是针对企业内部的小数据挖掘，数据分析是进行有针对性的分析和诊断，大数据需要分析的是趋势和发展趋势，数据挖掘主要是发现问题和诊断。

数据分析更多采用统计学的知识，对原数据进行描述性和探索性分析，从结果中发现价值信息来评估和修正现状。数据挖掘不仅仅用到统计学的知识，还要用到机器学习的知识，这里会涉及到模型的概念。数据挖掘具有更深的层次，来发现未知的规律和价值。

数据分析是将数据转化为信息的工具，而数据挖掘是将信息转化为认知的工具。如果我们想从数据(即认知)中提取某些规律，我们往往需要将数据分析与数据挖掘相结合使用。

想要系统学习数据挖掘与数据分析，可详细了解CDA的相关课程。CDA数据分析师认证的课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并 *** 作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥。点击预约免费试听课。

直接数据挖掘：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量(可以理解成数据库中表的属性，即列)进行描述。

间接数据挖掘：目标中没有选出某一具体的变量，用模型进行描述;而是在所有的变量中建立起某种关系。

数据挖掘的方法

神经网络方法

神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。

遗传算法

遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。

决策树方法

决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。

粗集方法

粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息;简化输入信息的表达空间;算法简单，易于 *** 作。粗集处理的对象是类似二维关系表的信息表。

覆盖正例排斥反例方法

它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则(选择子的合取式)。

统计分析方法

在数据库字段项之间存在两种关系：函数关系和相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。

模糊集方法

即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。

数据挖掘任务

关联分析

两个或两个以上变量的取值之间存在某种规律性，就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。

聚类分析

聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。

分类

分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。

预测

预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。

时序模式

时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用己知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。

偏差分析

在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。

例：给出美国人口从1790年到1990年间的人口如表1（每10年为一个间隔），请估计出美国2010年的人口。

表1 美国人口统计数据

年 份 1790 1800 1810 1820 1830 1840 1850

人口(×106) 39 53 72 96 129 171 232

年 份 1860 1870 1880 1890 1900 1910 1920

人口(×106) 314 386 502 629 760 920 1065

年 份 1930 1940 1950 1960 1970 1980

人口(×106) 1232 1317 1507 1793 2040 2265

建模方法：

可以发现美国人口的变化规律曲线近似为一条指数函数曲线，因此我们假设美国的人口满足函数关系x=f(t), f(t)=ea+bt，a,b为待定常数，根据最小二乘拟合的原理，a,b是函数 的最小值点。其中xi是ti时刻美国的人口数。利用MATLAB软件中的曲线拟合程序“curvefit”，编制的程序如下：

指数函数的函数M——文件

function f=fun1(a,t)

f=exp(a(1)t+a(2));

用最小二乘拟合求上述函数中待定常数，以及检验拟合效果的图形绘制程序

t=1790:10:1990;

x=[39 53 72 96 129 171 232 314 386 502 629 76

92 1065 1232 1317 1507 1793 204 2265 2514];

plot(t,x,'',t,x);

a0=[0001,1];

a=curvefit('fun1',a0,t,x)

ti=1790:5:2020;

xi=fun1(a,ti);

hold on

plot(ti,xi);

t1=2010;

x1=fun1(a,t1)

hold off