大数据分析一般用什么工具分析

　一、hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、 Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和 *** 作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel。该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

如果你确实想学习数据分析的话，那现在有两种选择，自学和报班。

自学

自学的话，学习时间比较自由、不用受到任何约束，可以自己安排时间，而且学习直接支出费用要少很多，但是自学过程中一定要注意项目经验的积累，不能只学了工具技能却忘了项目经验。

因为现在企业招聘都是很看重数据分析师的项目经验，这个你在随便一个招聘网站搜索相关招聘信息都能看见企业需求。

所以，在学习的过程中，我建议尽可能地去找从事过或者是正在从事数据分析师的朋友，让他们能够“手把手”地带你去接触一些真实项目，并且能够传授一些项目经验给你。

只有在自学的过程中注重项目经验的获取，在学完后才能更顺利地步入大数据分析师这个岗位，如果没有项目经验，那就只能从数据清洗、数据统计等基础性的工作做起，其工资水平可能还没有现在的收入高。

同时，自学的过程可能会比较枯燥，一个人的学习会比较没意思，如果不够自律、信念不够坚定的话，很可能会中途放弃，来来回回反反复复，学习时长会不可控制。

如果按照正常的自学内容和进度来看，要达到初级的数据分析师水平，大概需要2年的时间。

报班学习

报班学习的话首先是时间上就能缩短很多，2个月就能掌握自学2年才能学到的内容。

当然这个时候选择什么样的培训机构，就要回到我们之前讲的学习目标上了。确定是要走大数据分析这条路，那就要去分辨各个培训机构的课程设计，选择主要带着学员做实训项目的，一定要是做企业真实项目的那种，而不是随便在网上爬一些数据，让你去练手的那种。

1，必须先了解php是干什么的，了解html，css，js

2，了解完后就要先学习html，css，js，可以去W3school上看，或者慕课网上看，关键的是要勤动手。

3，把html，css，js熟练后，就可以学习php了，这里要知道php最重要的地方其实就是把数据库的资源和页面做交互的作用，以这个作为中心点去学习。

4，学习中要边学边做，再简单的例子都要自己动手敲一遍，建议使用慢慢的使用比较轻便的编辑器，比如subline，notepad++等，建议尽量少使用鼠标，以后就会明白为什么要这样。

5，要深入理解MVC，面向对象，数据库

6，学习一款框架

做完上面的东西，你就是一个初级的php程序员了，中级的话就是做了很多的项目，对上面的知识运用熟练，精通。到高级的话就是可以做到不用框架也能把一个项目做得好，做得快，安全高效。

---