国内外著名的互联网公司使用hadoop都做了什么谈HADOOP在大规模数据处理领域的具体应用。

节点数： 15台机器的构成的服务器集群服务器配置： 8核CPU，16G内存，14T硬盘容量。 HADOOP在百度：HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。节点数：10 - 500个节点。主要使用了2个集群：一个由1100台节点组成的集群，包括8800核CPU（即每台机器8核）,和12000TB的原始存储(即每台机器12T硬盘)一个有300台节点组成的集群，包括2400核CPU（即每台机器8核），和3000TB的原始存储(即每台机器12T硬盘)由此基础上开发了基于SQL语法的项目：HIVE HADOOP在HULU 主要用于日志存储和分析13台机器构成的集群 （8核PUC，单台机器：4TB硬盘）基于HBASE数据库 HADOOP在TWITTER 使用HADOOP用于存储微博数据，日志文件和许多中间数据使用基于HADOOP构件的Cloudera's CDH2系统，存储压缩后的数据文件（LZO格式） HADOOP在雅虎：主要用于支持广告系统及网页搜索机器数：25000，CPU：8核集群机器数： 4000 个节点 (24cpu boxes w 41TB disk & 16GB RAM)

文 | 翟周伟

本文节选自《Hadoop核心技术》一书。

Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国内外的hadoop应用现状。

国外Hadoop的应用现状

1Yahoo

Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop机器总节点数目超过42000个，有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点(每个节点双路4核心CPUboxesw，4×1TB磁盘，16GBRAM)。总的集群存储容量大于350PB，每月提交的作业数目超过1000万个，在Pig中超过60%的Hadoop作业是使用Pig编写提交的。

Yahoo的Hadoop应用主要包括以下几个方面：

支持广告系统

用户行为分析

支持Web搜索

反垃圾邮件系统

会员反滥用

内容敏捷

个性化推荐

同时Pig研究并测试支持超大规模节点集群的Hadoop系统。

2Facebook

Facebook使用Hadoop存储内部日志与多维数据，并以此作为报告、分析和机器学习的数据源。目前Hadoop集群的机器节点超过1400台，共计11200个核心CPU，超过15PB原始存储容量，每个商用机器节点配置了8核CPU，12TB数据存储，主要使用StreamingAPI和JavaAPI编程接口。Facebook同时在Hadoop基础上建立了一个名为Hive的高级数据仓库框架，Hive已经正式成为基于Hadoop的Apache一级项目。此外，还开发了HDFS上的FUSE实现。

3A9com

A9com为Amazon使用Hadoop构建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同时使用Java和StreamingAPI分析处理每日数以百万计的会话。A9com为Amazon构建的索引服务运行在100节点左右的Hadoop集群上。

4Adobe

Adobe主要使用Hadoop及HBase，同于支撑社会服务计算，以及结构化的数据存储和处理。大约有超过30个节点的Hadoop-HBase生产集群。Adobe将数据直接持续地存储在HBase中，并以HBase作为数据源运行MapReduce作业处理，然后将其运行结果直接存到HBase或外部系统。Adobe在2008年10月就已经将Hadoop和HBase应用于生产集群。

5CbIR

自2008年4月以来，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop来构建图像处理环境，用于图像产品推荐系统。使用Hadoop环境生成源数据库，便于Web应用对其快速访问，同时使用Hadoop分析用户行为的相似性。

6Datagraph

Datagraph主要使用Hadoop批量处理大量的RDF数据集，尤其是利用Hadoop对RDF数据建立索引。Datagraph也使用Hadoop为客户执行长时间运行的离线SPARQL查询。Datagraph是使用AmazonS3和Cassandra存储RDF数据输入和输出文件的，并已经开发了一个基于MapReduce处理RDF数据的Ruby框架——RDFgrid。

Datagraph主要使用Ruby、RDFrb以及自己开发的RDFgrid框架来处理RDF数据，主要使用HadoopStreaming接口。

7EBay

单集群超过532节点集群，单节点8核心CPU，容量超过53PB存储。大量使用的MapReduce的Java接口、Pig、Hive来处理大规模的数据，还使用HBase进行搜索优化和研究。

8IBM

IBM蓝云也利用Hadoop来构建云基础设施。IBM蓝云使用的技术包括：Xen和PowerVM虚拟化的Linux *** 作系统映像及Hadoop并行工作量调度，并发布了自己的Hadoop发行版及大数据解决方案。

9LastFm

LastFm主要用于图表计算、专利申报、日志分析、A/B测试、数据集合并等，也使用Hadoop对超过百万的曲目进行大规模的音频特征分析。

节点超过100台机器，集群节点配置双四核XeonL5520@227GHzL5630@213GHz，24GB内存，8TB(4×2TB)存储。

10LinkedIn

LinkedIn有多种硬件配置的Hadoop集群，主要集群配置如下：

800节点集群，基于Westmere的惠普SL170X与2×4的核心，24GB内存，6×2TBSATA。

1900节点集群，基于Westmere的超微-HX8DTT，与2×6的核心，24GB内存，6×2TBSATA。

1400节点集群，基于SandyBridge超微与2×6的核心，32GB内存，6×2TBSATA。

使用的软件如下：

*** 作系统使用RHEL63。

JDK使用SUNJDK160_32。

Apache的Hadoop0202的补丁和ApacheHadoop的104补丁。

Azkaban和Azkaban用于作业调度。

Hive、Avro、Kafka等。

11MobileAnalyticTV

主要使用Hadoop应用在并行化算法领域，涉及的MapReduce应用算法如下。

信息检索和分析。

机器生成的内容——文档、文本、音频、视频。

自然语言处理。

项目组合包括：

移动社交网络。

网络爬虫。

文本到语音转化。

音频和视频自动生成。

12Openstat

主要利用Hadoop定制一个网络日志分析并生成报告，其生产环境下超过50个节点集群(双路四核Xeon处理器，16GB的RAM，4～6硬盘驱动器)，还有两个相对小的集群用于个性化分析，每天处理约500万的事件，每月15亿美元的交易数据，集群每天产生大约25GB的报告。

使用的技术主要包括：CDH、Cascading、Janino。

13Quantcast

3000个CPU核心，3500TB存储，每日处理1PB以上的数据，使用完全自定义的数据路径和排序器的Hadoop调度器，对KFS文件系统有突出贡献。

14Rapleaf

超过80个节点的集群(每个节点有2个双核CPU，2TB×8存储，16GBRAM内存);主要使用Hadoop、Hive处理Web上关联到个人的数据，并引入Cascading简化数据流穿过各种处理阶段。

15WorldLingo

硬件上超过44台服务器(每台有2个双核CPU，2TB存储，8GB内存)，每台服务器均运行Xen，启动一个虚拟机实例运行Hadoop/HBase，再启动一个虚拟机实例运行Web或应用程序服务器，即有88台可用的虚拟机;运行两套独立的Hadoop/HBase机群，它们各自拥有22个节点。Hadoop主要用于运行HBase和MapReduce作业，扫描HBase的数据表，执行特定的任务。HBase作为一种可扩展的、快速的存储后端，用于保存数以百万的文档。目前存储了1200万篇文档，近期的目标是存储45亿篇文档。

16格拉斯哥大学的TerrierTeam

超过30个节点的实验集群(每节点配置XeonQuadCore24GHz，4GB内存，1TB存储)。使用Hadoop促进信息检索研究和试验，特别是用于TREC，用于TerrierIR平台。Terrier的开源发行版中包含了基于HadoopMapReduce的大规模分布式索引。

17内布拉斯加大学的HollandComputingCenter

运行一个中等规模的Hadoop机群(共计16PB存储)用于存储和提供物理数据，以支持紧凑型μ子螺旋型磁谱仪(CompactMuonSolenoid，CMS)实验的计算。这需要一类能够以几Gbps的速度下载数据，并以更高的速度处理数据的文件系统的支持。

18VisibleMeasures

将Hadoop作为可扩展数据流水线的一个组件，最终用于VisibleSuite等产品。使用Hadoop汇总、存储和分析与网络视频观众收看行为相关的数据流。目前的网格包括超过128个CPU核心，超过100TB的存储，并计划大幅扩容。

国内Hadoop的应用现状

Hadoop在国内的应用主要以互联网公司为主，下面主要介绍大规模使用Hadoop或研究Hadoop的公司。

1百度

百度在2006年就开始关注Hadoop并开始调研和使用，在2012年其总的集群规模达到近十个，单集群超过2800台机器节点，Hadoop机器总数有上万台机器，总的存储容量超过100PB，已经使用的超过74PB，每天提交的作业数目有数千个之多，每天的输入数据量已经超过7500TB，输出超过1700TB。

百度的Hadoop集群为整个公司的数据团队、大搜索团队、社区产品团队、广告团队，以及LBS团体提供统一的计算和存储服务，主要应用包括：

数据挖掘与分析。

日志分析平台。

数据仓库系统。

推荐引擎系统。

用户行为分析系统。

同时百度在Hadoop的基础上还开发了自己的日志分析平台、数据仓库系统，以及统一的C++编程接口，并对Hadoop进行深度改造，开发了HadoopC++扩展HCE系统。

2阿里巴巴

阿里巴巴的Hadoop集群截至2012年大约有3200台服务器，大约30000物理CPU核心，总内存100TB，总的存储容量超过60PB，每天的作业数目超过150000个，每天hivequery查询大于6000个，每天扫描数据量约为75PB，每天扫描文件数约为4亿，存储利用率大约为80%，CPU利用率平均为65%，峰值可以达到80%。阿里巴巴的Hadoop集群拥有150个用户组、4500个集群用户，为淘宝、天猫、一淘、聚划算、CBU、支付宝提供底层的基础计算和存储服务，主要应用包括：

数据平台系统。

搜索支撑。

广告系统。

数据魔方。

量子统计。

淘数据。

推荐引擎系统。

搜索排行榜。

为了便于开发，其还开发了WebIDE继承开发环境，使用的相关系统包括：Hive、Pig、Mahout、Hbase等。

3腾讯

腾讯也是使用Hadoop最早的中国互联网公司之一，截至2012年年底，腾讯的Hadoop集群机器总量超过5000台，最大单集群约为2000个节点，并利用Hadoop-Hive构建了自己的数据仓库系统TDW，同时还开发了自己的TDW-IDE基础开发环境。腾讯的Hadoop为腾讯各个产品线提供基础云计算和云存储服务，其支持以下产品：

腾讯社交广告平台。

搜搜(SOSO)。

拍拍网。

腾讯微博。

腾讯罗盘。

QQ会员。

腾讯游戏支撑。

QQ空间。

朋友网。

腾讯开放平台。

财付通。

手机QQ。

QQ音乐。

4奇虎360

奇虎360主要使用Hadoop-HBase作为其搜索引擎socom的底层网页存储架构系统，360搜索的网页可到千亿记录，数据量在PB级别。截至2012年年底，其HBase集群规模超过300节点，region个数大于10万个，使用的平台版本如下。

HBase版本：facebook089-fb。

HDFS版本：facebookHadoop-20。

奇虎360在Hadoop-HBase方面的工作主要为了优化减少HBase集群的启停时间，并优化减少RS异常退出后的恢复时间。

5华为

华为公司也是Hadoop主要做出贡献的公司之一，排在Google和Cisco的前面，华为对Hadoop的HA方案，以及HBase领域有深入研究，并已经向业界推出了自己的基于Hadoop的大数据解决方案。

6中国移动

中国移动于2010年5月正式推出大云BigCloud10，集群节点达到了1024。中国移动的大云基于Hadoop的MapReduce实现了分布式计算，并利用了HDFS来实现分布式存储，并开发了基于Hadoop的数据仓库系统HugeTable，并行数据挖掘工具集BC-PDM，以及并行数据抽取转化BC-ETL，对象存储系统BC-ONestd等系统，并开源了自己的BC-Hadoop版本。

中国移动主要在电信领域应用Hadoop，其规划的应用领域包括：

经分KPI集中运算。

经分系统ETL/DM。

结算系统。

信令系统。

云计算资源池系统。

物联网应用系统。

E-mail。

IDC服务等。

7盘古搜索

盘古搜索(目前已和即刻搜索合并为中国搜索)主要使用Hadoop集群作为搜索引擎的基础架构支撑系统，截至2013年年初，集群中机器数量总计超过380台，存储总量总计366PB，主要包括的应用如下。

网页存储。

网页解析。

建索引。

Pagerank计算。

日志统计分析。

推荐引擎等。

即刻搜索(人民搜索)

即刻搜索(目前已与盘古搜索合并为中国搜索)也使用Hadoop作为其搜索引擎的支撑系统，截至2013年，其Hadoop集群规模总计超过500台节点，配置为双路6核心CPU，48G内存，11×2T存储，集群总容量超过10PB，使用率在78%左右，每天处理读取的数据量约为500TB，峰值大于1P，平均约为300TB。

即刻搜索在搜索引擎中使用sstable格式存储网页并直接将sstable文件存储在HDFS上面，主要使用HadoopPipes编程接口进行后续处理，也使用Streaming接口处理数据，主要的应用包括：

网页存储。

解析。

建索引。

推荐引擎。

end

hadoop和mysql严格的来说没有任何关系，区别为hadoop是一种分布式计算框架，用于处理大量的数据，而mysql是数据库用来存放数据的。

但是一般来说，配合hadoop的数据库不是mysql这类传统的关系型数据库，因为当数据量非常大的时候，这些数据库的处理速度会非常慢（就算做了集群也一样慢），取而代之的则是hbase这类非关系型数据库，在大量数据处理过程中，处理速度会比较稳定。

2 hadoop跟mysql的区别是什么？

举个简单的例子。mysql就是一个麻袋，里面装的是数据。而hadoop则是一种很强大的工具，它的作用就是去处理包括这些麻袋在内的大数据。

所以，实际上他俩是不存在直接关系的。

今天真是一个美好的时代，有无数的开源系统可以为我们提供服务，现在有许多开发软件可以用到工业大数据中，当然很多系统还不成熟，应用到工业中还需要小心，并且需要开发人员对其进行一定的优化和调整。下面就简单介绍一些开源的大数据工具软件，看看有哪些能够应用到工业大数据领域。

下面这张图是我根据网上流传的一张开源大数据软件分类图整理的：

我们可以把开源大数据软件分成几类，有一些可以逐步应用到工业大数据领域，下面就一一介绍一下这些软件。（以下系统介绍大都来源于网络）

1、数据存储类

（1）关系数据库MySQL

这个就不用太多介绍了吧，关系型数据库领域应用最广泛的开源软件，目前属于 Oracle 旗下产品。

（2）文件数据库Hadoop

Hadoop是大数据时代的明星产品，它最大的成就在于实现了一个分布式文件系统（Hadoop Distributed FileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。

Hadoop可以在工业大数据应用中用来作为底层的基础数据库，由于它采用了分布式部署的方式，如果是私有云部署，适用于大型企业集团。如果是公有云的话，可以用来存储文档、视频、图像等资料。

（3）列数据库Hbase

HBase是一个分布式的、面向列的开源数据库，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

基于Hbase开发的OpenTSDB，可以存储所有的时序（无须采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。

这样的话，它就可以替代在工业领域用得最多的实时数据库。

（4）文档数据库MongoDB

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

MongoDB适合于存储工业大数据中的各类文档，包括各类图纸、文档等。

（5）图数据库Neo4j/OrientDB

图数据库不是存放的，是基于图的形式构建的数据系统。

Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、 企业级 的数据库的所有好处。

OrientDB是兼具文档数据库的灵活性和图形数据库管理 链接 能力的可深层次扩展的文档-图形数据库管理系统。可选无模式、全模式或混合模式下。支持许多高级特性，诸如ACID事务、快速索引，原生和SQL查询功能。可以JSON格式导入、导出文档。若不执行昂贵的JOIN *** 作的话，如同关系数据库可在几毫秒内可检索数以百记的链接文档图。

这些数据库都可以用来存储非结构化数据。

2、数据分析类

（1）批处理MapReduce/Spark

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。

这些大数据的明星产品可以用来做工业大数据的处理。

（2）流处理Storm

Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计的消息）。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。

（3）图处理Giraph

Giraph是什么？Giraph是Apache基金会开源项目之一，被定义为迭代式图处理系统。他架构在Hadoop之上，提供了图处理接口，专门处理大数据的图问题。

Giraph的存在很有必要，现在的大数据的图问题又很多，例如表达人与人之间的关系的有社交网络，搜索引擎需要经常计算网页与网页之间的关系，而map-reduce接口不太适合实现图算法。

Giraph主要用于分析用户或者内容之间的联系或重要性。

（4）并行计算MPI/OpenCL

OpenCL（全称Open Computing Language，开放运算语言）是第一个面向 异构系统 通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，便于软件开发人员为高性能计算 服务器 、桌面计算系统、手持设备编写高效轻便的代码，而且广泛适用于多核心处理器(CPU)、图形处理器(GPU)、Cell类型架构以及数字信号处理器(DSP)等其他并行处理器，在 游戏 、 娱乐 、科研、医疗等各种领域都有广阔的发展前景。

（5）分析框架Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

（6）分析框架Pig

Apache Pig 是apache平台下的一个免费开源项目，Pig为大型数据集的处理提供了更高层次的抽象，很多时候数据的处理需要多个MapReduce过程才能实现，使得数据处理过程与该模式匹配可能很困难。有了Pig就能够使用更丰富的数据结构。[2]

Pig LatinPig Latin 是一个相对简单的语言，一条语句 就是一个 *** 作，与数据库的表类似，可以在关系数据库中找到它（其中，元组代表行，并且每个元组都由字段组成）。

Pig 拥有大量的数据类型，不仅支持包、元组和映射等高级概念，还支持简单的数据类型，如 int、long、float、double、chararray 和 bytearray。并且，还有一套完整的比较运算符，包括使用正则表达式的丰富匹配模式。

以上就是关于国内外著名的互联网公司使用hadoop都做了什么谈HADOOP在大规模数据处理领域的具体应用。全部的内容，包括:国内外著名的互联网公司使用hadoop都做了什么谈HADOOP在大规模数据处理领域的具体应用。、国内外的Hadoop应用现状、hadoop和mysql区别等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！