怎样用windows eclipse 编程hadoop

1、目标：

在三台ubuntu上搭建hadoop开发环境；

在windows下利用Eclipse访问ubuntu下的hadoop环境，进行开发；

2、软硬件要求：

软件： hadoop-0.20.2 ，jdk-1.6 ， *** 作系统 ubuntu10.10 ， Eclipse3.7 ；

硬件：3台装有ubuntu系统的机器（我使用的是在一台windows xp下利用 VMware workstation 安装了三台ubuntu虚拟机）

3台ubuntu虚拟器使用相同的用户名和密码 如我的用户名都是matt，

3、ubuntu上搭建hadoop环境

（这一步我直接省略，在网上有很多参考），搭建好后的配置文件如下：

core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/matt/HadoopInstall/tmp</value>

<description>A base for other temporary directories.</description>

<弯郑逗/property>

<!-- file system properties -->

<property>

<name>fs.default.name</name>

<value>hdfs://tiger:9000</value>

</property>

</configuration>

mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>tiger:9001</value>

</property>埋卖

</configuration>

hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

4、在windows上安装eclipse3.7，

首先先进行windows系统参数设置，进入C:\WINDOWS\system32\drivers\etc 将hosts中加入主机名与对应Ip的关系

tiger 192.168.200.195

lion 192.168.200.196

wolf 192.168.200.197

（这三台分别是我的三台ubuntu虚拟机的主机名和对应的IP，可以参考我之前写的日志VMware虚拟机与主机共享上网的设置）

在官网下载解压eclipse3.7，然后将hadoop插件直接拷到eclipse的plugins里就可以了(hadoop0.20.2自带的hadoop插件只能支持

eclipse3.3.2以下版本，因此这个插件是我在google中搜索的)；重启eclipse 通过点击Window ->Open Perspective ->Other 选择、Map/Reduce，图标是个蓝色的象。就可以看到mapreduce视图了；接下来进行设置mapreduce开发环境，在

eclipse下端，控制台旁边会多一个Tab，叫“Map/Reduce Locations”，在下面空白的地方点右键，选择“New Hadoop location...”，

d出配置框

其中Location name可以随便起，Map/Reduce Master要与你的mapered-site.xml对应，DFS与core-site.xml对应，User name是

unbuntu中搭建hadoop环境的用户名；接下来设置advanced parameter，里面主要注意的是 hadoop.tmp.dir(要与配置文件中的临时

目录一致) 和 hadoop.job.ugi（hadoop环境的用户名和组名 在这里就是 matt ，matt）这个变量名可能在刚开始时不存在，没有关系

先配置好其他的，确认保存。这时打开project Explorer就可以看到DFS Location了

如果在第一次没有hadoop.job.ugi变量的配置时在/hadoop/mapred/system下你是没有查丛弊看权限的 也就是查看不

到/matt/HadoopInstall/tmp这个目录，也不能进行删除文件 *** 作，这时再打开advanced parameter，将值配置为上面提到的对应值就

好了（matt,matt）；到这里整个配置部分就ok了；

5、运行第一个程序wordcount

在 project Explorer中右键->new ->mapreduce project 然后点击 configure Hadoop install directory 浏览到 hadoop0.20.2文件夹

下，这样project就会自动把hadoop下的jar包导入到工程，然后把hadoop自带的wordcount源码复制到project src目录下（注意包名要

一致）然后右键 Run As ->Run configuration ，d出配置窗口单击左边的javap Application 选择WordCount程序，然后在右侧的

Arguments Program arguments 中配置运行参数（hdfs://tiger:9000/user/matt/input hdfs://tiger:9000/user/matt/output 分别对应程

序输入目录和输出目录）点击apply，然后再在wordcount上右键 ->run on hadoop 程序就能运行并在eclipse中打印日志信息了。

使用eclipse编译hadoop源码

1，建立一个Hadoop源码文件夹。

2、svn 检出hadoop1.0.4的源码。svn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.4

注意：如果在ubuntu下直慎并接上面语句液瞎报错，可能需要执行下面的语句

sudo apt-get install autoconf

sudo apt-get install libtool

3、在检出完成后的目录下执行

ant eclipse.然后将源码导入到eclipse中。

4、修改 release-1.0.4/src/contrib/gridmix/src/Java/org/apache/hadoop/mapred/gridmix/Gridmix.java

将两处的 Enum<? extends T>改成 Enum<?>

5、编译器设置及编译。

右击工程名，Properties-->Builders-->New--->Ant Builder

New_Builder -->Edit: Name: hadoop-Builder.Main:Builderfile(builder.xml的位置)：/home/nacey/workspace/source-workspace/hadoop-1.0.4Targets—>Manual Build: jar

然后选择菜单Project-->Build Project

在/home/nacey/workspace/source-workspace/hadoop-1.0.4/build文件夹下会生成三个开发 jar 包:

hadoop-client-1.0.4-SNAPSHOT.jar

hadoop-core-1.0.4-SNAPSHOT.jar

hadoop-minicluster-1.0.4-SNAPSHOT.jar

去掉"-SNAPSHOT"即可替换hadoop-1.0.4 下的同名 jar 包.

注意如果要在集群闹孝空中使用自己编译的jar，则需要替换集群中的所有机器。不然会出现版本不匹配。

步骤如下：

1.安装CentOS

把软件下载后全部复制到/usr/local目录下，以下命令执行的路径是在/usr/local目录下。请读者在阅读时，一定要注意路径。

2.安装JDK

hadoop是java写的，编译hadoop必须安装jdk。

从oracle官网下载jdk

执行散答以下命令解压缩jdk

tar -zxvf  jdk-7u45-linux-x64.tar.gz

会生成一个文件夹jdk1.7.0_45，然后设置凯掘轿环境变量中。

执行命令 vi /etc/profile，增加以下内容到配置文件中.

3.安装maven

hadoop源码是使用maven组织管理的，必须下载maven。从maven官网下载，不要选择3.1下载。

执行以下命令解压缩jdk

tar -zxvf  apache-maven-3.0.5-bin.tar.gz

会生成一个文件夹apache-maven-3.0.5，然后设置环境变量中。

执行命令vi  /etc/profile，编辑结果如下图所示

保存退出文件后，盯肆执行以下命令

source  /etc/profile

mvn -version

---