运行hadoop自带的wordcount程序失败 我查了一下说我缺少包 可是我看了share目录下并没有缺少包

运行hadoop自带的wordcount程序失败 我查了一下说我缺少包 可是我看了share目录下并没有缺少包,第1张

可以试下启动JVM时,在java命令中添加javalibrarypath属性:-Djavalibrarypath=$HADOOP_INSTALL/lib/native/Linux-amd64-64/

Linux可以添加系统属性:export LD_LIBRARY_PATH=$HADOOP_INSTALL/lib/native/Linux-i386-32/

(1)新建一个”input”目录,然后在里面新建test1”、“test2”文本文件,并分别写入“hello world”、“hello hadoop”

$ mkdir input

$ cd input

$ echo “hello world”>test1txt

$ echo “hello hadoop”>test2txt

注:input文件的路径为: /home/hadoop/input

(2)将本地文件“input”复制到hadoop的目录下

注:复制粘贴删除重命名可以不用指令,直接鼠标右键。方法是先在终端输入:

$ sudo nautilus

(3)将hadoop里面的“input”文件上传到HDFS文件系统中,然后重命名为“in”,然后新建数据输出目录“out”,指令及其结果如下:

$ bin/hadoop dfs –put input in

$ bin/hadoop jar hadoop-0202-examplesjar wordcount in out

(4)任务执行完毕,查看结果

$ bin/hadoop dfs –cat out/

hadoop 1

hello 2

world 1

cat: Source must be a file

(6)输出文件从Hadoop分布式文件系统,复制到本地文件系统中查看,指令及其结果如下:、

$ bin/hadoop dfs -get out output

$ cat output/

cat: output/_logs: Is a directory

hadoop 1

hello 2

world 1

进入hadoop目录后,HDFS的一些命令 $ cd/usr/hadoop

bin/hadoop dfs -mkdir [文件夹名称] //建立文件夹

bin/hadoop dfs –ls //查看当前的HDFS根目录

bin/hadoop dfs -rmr [文件或文件名] //删除根目录下的文件或文件夹

bin/hadoop dfs -put [文件名1] [文件名2] //将dbrg1中hadoop目录下的文件名1拷贝到HDFS

希望可以帮助到你,望采纳,谢谢!

报的异常是Unable to load native-hadoop library for your platform,你是不是直接针对本地文件进行 *** 作的?hadoop有一套自己的文件管理系统,配置成功之后,你把文件先上传到hdfs上,然后在进行 *** 作,然后在运行试一下~

以上就是关于运行hadoop自带的wordcount程序失败 我查了一下说我缺少包 可是我看了share目录下并没有缺少包全部的内容,包括:运行hadoop自带的wordcount程序失败 我查了一下说我缺少包 可是我看了share目录下并没有缺少包、windows 运行hadoop自带例子程序wordcount总是死在Map 0% Reduce0%、运行hadoop自带例子程序wordcount总是死在Map 0% Reduce0% 如下图 求解答 小弟初学等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zz/9846476.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-02
下一篇2023-05-02

发表评论

登录后才能评论

评论列表(0条)

    保存