eclipse怎么添加hadoop

在eclipse下安装开发hadoop程序的插件 安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的 contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar，把这个文件copy到eclipse的eclipse\plugins

目录下，然后启动eclipse就算完成安装了。 这里说明一下，haoop-0.20.2自带的eclipse的插件只能安装在eclipse 3.3上才有反应，而在eclipse 3.7上运行hadoop程序是没有反应的，所以要针对eclipse 3.7重新编译插件。

1、下载Eclipse解压。

2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。

我的hadoop集群用的版本：hadoop1.1.2

hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件，需要自己用ant编译。

源文件在：hadoop-x.y.z/src/contrib/eclipse-plugin 下，注意：需要下载源目录的包，如查下载的是bin的压缩包，里面是没有eclipse插件的源文件的。

3、打开Eclipse

window-- Preferences 出现Hadoop Map/Reduce

配置Hadoop installation directory:

注意：我的宿主机windows上并没有安装hadoop， hadoop安装在VM中的centos中

在windows下建了一个目录F:/myHadoop 把centos hadoop安装根目录下的jar包拷过来。

4、新建工程：Map/Reduce Project

配置hadoop location:

5、刷新DFS Locations 列出HDFS服务器上的上的目录：

6、问题：

在Eclipse上可以列出hadoop集群上的目录，但不能创建文件，上传文件

原因：windows下Eclipse安装了hadoop插件，默认使用的是windows当前用户去 *** 作hadoop，而我的hadoop集群当前的用户是grid

而Eclipse中hadoop locations 的高级参数配置，是不能修改这个用户的：

解决方法：

在windows用户和组的管理中，把当前用户修改成hadoop组grid用户。

但我的机器系统是win7家庭版，打不开用户和组管理：

不能已，用另一种方案：

windows上新建一个grid用户，然后再打开Eclipse，创建工程，进行以上的配置DFS Loactioins

发现这时，在Eclipse中可以列出目录，新建文件夹，上传文件了。( 或者修改hadoop集群上文件夹的权限，如：bin/hadoop fs -chmod 777 ./in, 下图第2个文件是修改hadoop集群文件平权限后上传的)

怎么在eclipse中配置hadoop的参数?

点击Windows-->Preferrence-->hadoop

map/reduce,

Brower

选择下载的hadoop-1.0.4所在的路径.

点击

Windows-->Show

View

-->Other

-->

Map/Reduce

Location，打开Hadoop的MapReduce

View.

会出现一个Edit

Hadoop

Location的界面

Location

name随便填，只是一个标识

Map/Reduce

Master：

两个参数就是

mapred-site.xml中mapred.job.tracker的ip和端口

DFS

Master：

两个参数就是

core-site.xml中fs.default.name的ip和端口

User

Name：

搭建Hadoop集群时所用的用户名，我这里用的是mini

确定之后在下方会出现一个Hadoop

填完之后重启eclipse，右键下方View中的Hadoop，Edit

Hadoop

Location，选择Advanced

Parameters,

配置hadoop.tmp.dir这项，我在core-site.xml中配置的是/home/hadoop/sysdata/1.0.4/tmp，所以这边也配置一样。

---