数据采集、数据抓取和数据抽取

暂时先给你回答点主观的，时间允许了再“尽量科学一点”的：

数据采集：就是把物量信号采集下来，一般指的经过A/D转换采集到电脑。

数据抓取：这也可能是太粗俗的一种说法，比如说把网络的某种数据抓取过来等。

数据抽取：比如采集的数据，进行抽点的形式，取一些代表数据进行分析。

感觉一、三有些关联。二应不是科学界的一种表达。

什么是数据采集

数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头，麦克风，都是数据采集工具。

在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，数据采集领域已经发生了重要的变化。首先，分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次，总线兼容型数据采集插件的数量不断增大，与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集机先后问世，将数据采集带入了一个全新的时代。

数据采集的三大要点：

采集的全面性：采集的数据量足够大具有分析价值、数据面足够支撑分析需求。比如查看app的使用情况这一行为，我们需要采集从用户触发时的环境信息、会话、以及背后的用户id，最后需要统计这一行为在某一时段触发的人数、次数、人均次数、活跃比等。

采集的多维性：数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同类型，从而满足不同的分析目标。比如“查看app的使用情况”这一行为，我们需要采集用户使用的app的哪些功能、点击频率、使用时常、打的app的时间间隔等多个属性。才能使采集的结果满足我们的数据分析！

采集的高效性：高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。

数据采集的四大步骤：

明确数据需求：

由于客户所处行业不同，诉求也就各不一样。所以首先必须明确客对于数据的最终用途，确定客户需求。根据客户所需搜集的数据信息与客户沟通之后，总结需要收集的字段。

2调研数据来源：

根据客户需求确定数据采集范围。然后锁定采集范围和对采集的数据量进行预估。细化客户需求，研究采集方向。

3确定用什么采集工具、软件、代码

面对不同的网站我们只有选择更加合适的组合才能使采集结果更加有效。

4确定存储的方式：

根据采集量的大小对数据储存的方式进行划分。比较小的数据，一般使用excel表格存储；几千万的大型数据，选择数据库存储；对于GB级别的数据，就得用Hadoop、Spark、Redis等分布式存储和处理技术的方法才能做到较好的管理和计算。选择正确数据存储的方式使客户对数据的使用与管理更加便捷。

一、头脑风暴法：

常用于“收集需求”过程中，属于群体创新技术。联想是产生新观念的基本过程。在集体讨论问题的过程中，每提出一个新的观念，都能引发他人的联想。相继产生一连串的新观念，产生连锁反应，形成新观念堆，为创造性地解决问题提供了更多的可能性。

在不受任何限制的情况下，集体讨论问题能激发人的热情。人人自由发言、相互影响、相互感染，能形成热潮，突破固有观念的束缚，最大限度地发挥创造性地思维能力。

在有竞争意识情况下，人人争先恐后，竞相发言，不断地开动思维机器，力求有独到见解，新奇观念。心理学的原理告诉我们，人类有争强好胜心理，在有竞争意识的情况下，人的心理活动效率可增加50%或更多。

二、德尔菲技术：

常用于“收集需求”过程中，属于群体创新技术。这一方法的步骤是：

（1）根据问题的特点，选择和邀请做过相关研究或有相关经验的专家。

（2）将与问题有关的信息分别提供给专家，请他们各自独立发表自己的意见，并写成书面材料。

（3）管理者收集并综合专家们的意见后，将综合意见反馈给各位专家，请他们再次发表意见。如果分歧很大，可以开会集中讨论；否则，管理者分头与专家联络。

（4）如此反复多次，最后形成代表专家组意见的方案。

德尔菲法的典型特征

（1）吸收专家参与预测，充分利用专家的经验和学识；

（2）采用匿名或背靠背的方式，能使每一位专家独立自由地作出自己的判断；

（3）预测过程几轮反馈，使专家的意见逐渐趋同。

优点：能充分发挥各位专家的作用，集思广益，准确性高。能把各位专家意见的分歧点表达出来，取各家之长，避各家之短。

缺点：德尔菲法的主要缺点是过程比较复杂，花费时间较长。

三、帕累托图：

常用于“实施质量控制”过程中。帕累托图又叫排列图、主次图,是按照发生频率大小顺序绘制的直方图，表示有多少结果是由已确认类型或范畴的原因所造成。它是将出现的质量问题和质量改进项目按照重要程度依次排列而采用的一种图表。可以用来分析质量问题，确定产生质量问题的主要因素。标准帕累托图按等级排序的目的是指导如何采取纠正措施：项目班子应首先采取措施纠正造成最多数量缺陷的问题。从概念上说，帕累托图与帕累托法则一脉相承，该法则认为相对来说数量较少的原因往往造成绝大多数的问题或缺陷。

排列图用双直角坐标系表示,左边纵坐标表示频数,右边纵坐标表示频率分析线表示累积频率,横坐标表示影响质量的各项因素,按影响程度的大小(即出现频数多少)从左到右排列,通过对排列图的观察分析可以抓住影响质量的主要因素

帕累托法则往往称为二八原理，即百分之八十的问题是百分之二十的原因所造成的。帕累托图在项目管理中主要用来找出产生大多数问题的关键原因，用来解决大多数问题。

X(经典帕累托图)

四、控制图：

常用于“规划质量、实施质量控制”过程中，就是对生产过程的关键质量特性值进行测定、记录、评估并监测过程是否处于控制状态的一种图形方法。根据假设检验的原理构造一种图，用于监测生产过程是否处于控制状态。它是统计质量管理的一种重要手段和工具。

它是一种有控制界限的图，用来区分引起的原因是偶然的还是系统的，可以提供系统原因存在的资讯，从而判断生产过於受控状态。控制图按其用途可分为两类，一类是供分析用的控制图，用来控制生产过程中有关质量特性值的变化情况，看工序是否处於稳定受控状；再一类的控制图，主要用於发现生产过程是否出现了异常情况，以预防产生不合格品。

7点规则：如果遇到连续7点数据落在平均线的同一侧。那么，应当考虑是否存在特殊原因。因为，一个点落在平均线一侧的概率是1/2。连续两点落在同一侧的概率是1/2中的1/2=1/4。连续三点落在同一侧的概率是1/4中的1/2=1/8。如此下去，连续七点落在同一侧的概率是（1/2）X（1/2）X（1/2）X（1/2）X（1/2）X（1/2）X（1/2）=1/128=00078。这个概率值是千分之8。这个概率应当讲是很小的。当我们在生产抽样的时候，这样小的概率是不应当被抽到的。现在被抽到了，说明不正常了，就有可能发生了特殊原因。

五、SWOT分析：

常用于“识别风险”过程中，其中，S代表strength(优势)，W代表weakness(弱势)，O代表opportunity(机会)，T代表threat(威胁)。其中，S、W是内部因素，O、T是外部因素。这种分析常用于企业内部分析方法，即根据企业自身的既定内在条件进行分析，找出企业的优势、劣势及核心竞争力之所在。

近来，SWOT分析已广被应用在许多领域上，如学校的自我分析、个人的能力自我分析等方面。比如，在利用SWOT对自己进行职业发展分析时，可以遵循以下五个步骤：

第一步，评估自己的长处和短处每个人都有自己独特的技能、天赋和能力。在当今分工非常细的环境里，每个人擅长于某一领域，而不是样样精通。(当然，除非天才)。举个例子，有些人不喜欢整天坐在办公室里，而有些人则一想到不得不与陌生人打交道时，心里就发麻，惴惴不安。请作个列表，列出你自己喜欢做的事情和你的长处所在。同样，通过列表，你可以找出自己不是很喜欢做的事情和你的弱势。找出你的短处与发现你的长处同等重要，因为你可以基于自己的长处和短处上，作两种选择；或者努力去改正常的错误，提高你的技能，或是放弃那些对你不擅长的技能要求的学系。列出你认为自己所具备的很重要的强项和对你的学习选择产生影响的弱势，然后再标出那些你认为对你很重要的强弱势。

第二步，找出您的职业机会和威胁。我们知道，不同的行业(包括这些行业里不同的公司)都面临不同的外部机会和威胁，所以，找出这些外界因素将助您成功地找到一份适合自己的工作，对您求职是非常重要的，因为这些机会和威胁会影响您的第一份工作和今后的职业发展。如果公司处于一个常受到外界不利因素影响的行业里，很自然，这个公司能提供的职业机会将是很少的，而且没有职业升迁的机会。相反，充满了许多积极的外界因素的行业将为求职者提供广阔的职业前景。请列出您感兴趣的一两个行业，然后认真地评估这些行业所面临的机会和威胁。

第三步，提纲式地列出今后3-5年内您的职业目标。仔细地对自己做一个SWOT分析评估，列出您5年内最想实现的四至五个职业目标。这些目标可以包括：您想从事哪一种职业，您将管理多少人，或者您希望自己拿到的薪水属哪一级别。请时刻记住：您必须竭尽所能地发挥出自己的优势，使之与行业提供的工作机会完满匹配。

第四步，提纲式地列出一份今后3-5年的职业行动计划。这一步主要涉及到一些具体的内容。请您拟出一份实现上述第三步列出的每一目标的行动计划，并且详细地说明为了实现每一目标，您要做的每一件事，何时完成这些事。如果您觉得您需要一些外界帮助，请说明您需要何种帮助和您如何获取这种帮助。例如，您的个人SWOT分析可能表明，为了实现您理想中的职业目标，您需要进修更多的管理课程，那么，您的职业行动计划应说明要参加哪些课程、什么水平的课程以及何时进修这些课程等等。您拟订的详尽的行动计划将帮助您做决策，就像外出旅游前事先制定的计划将成为您的行动指南一样。

第五步，寻求专业帮助。能分析出自己职业发展及行为习惯中的缺点并不难，但要去以合适的方法改变它们却很难。相信您的朋友、上级主管、职业咨询专家都可以给您一定的帮助，特别是很多时候借助专业的咨询力量会让您大走捷径。有外力的协助和监督也会让您更好的取得效。

六、敏感性分析：

常用于“实施定量风险分析”过程中，敏感性分析的作用是确定影响项目风险的敏感因素。寻找出影响最大、最敏感的主要变量因素，进一步分析、预测或估算其影响程度，找出产生不确定性的根源，采取相应有效措施。敏感性分析有助于确定哪些风险对项目具有最大的潜在影响。它把所有其他不确定因素保持在基准值的条件下，考察项目的每项要素的不确定性对日标产生多大程度的影响。敏感性分析最常用的显示方式是龙卷风图。龙卷风图有助于比较具有较高不确定性的变量与相对稳定的变量之间的相对重要程度。

七、预期货币价值：

又称风险暴露值、风险期望值，是定量风险分析的一种技术，常和决策树一起使用，它是将特定情况下可能的风险造成的货币后果和发生概率相乘，此项目包含了风险和现金的考虑。正值表示机会，负值表示风险。每个可能结果的数值与发生机率相乘后加总即得到。

例：一专案投资100万,有50%机率会延误而罚款20万则EMV值为多少

答：100+(-2050%)=90

八、蒙特卡罗法：

用于定量风险分析，是一种采用随机抽样（Random Sampling）统计来估算结果的计算方法。项目管理中蒙特卡罗模拟方法的一般步骤是：

1．对每一项活动，输入最小、最大和最可能估计数据，并为其选择一种合适的先验分布模型；

2．计算机根据上述输入，利用给定的某种规则，快速实施充分大量的随机抽样

3．对随机抽样的数据进行必要的数学计算，求出结果

4．对求出的结果进行统计学处理，求出最小值、最大值以及数学期望值和单位标准偏差

5．根据求出的统计学处理数据，让计算机自动生成概率分布曲线和累积概率曲线(通常是基于正态分布的概率累积S曲线)

6．依据累积概率曲线进行项目风险分析。

人工录入。数据采集，又称数据获取，就是将系统需要管理的所有对象的原始数据收集、归类、整理、录入到系统当中去。人工录入方式是应用最早的数据采集方式。在部分制造型企业中在特定的场合仍然会使用到人工录入方式。而通常企业会以记录卡片的方式进行现场数据信息的采集，再通过手动输入的方式将这些数据信息保存到计算机系统里。

以上就是关于数据采集、数据抓取和数据抽取全部的内容，包括:数据采集、数据抓取和数据抽取、什么是数据采集、数据收集和分析常用方法等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！