Hadoop访问接口是干什么用的

Hadoop访问接口是干什么用的,第1张

= =你可以用脚本在namenode上访问御颤管理hadoop,离开namenode就需要通过程序远程访问hadoop,这时候就需要访问接口,是管理脚本的远程版本,也是programatically,意味可编程的。这个比脚本更加重要,可谓是管理hadoop的唯镇基败一功能,总不至于你懂不懂就上锋旁服务器 *** 作吧。。。不方便的

hadoop有个C++的接口,没有c的。需要自己编译链接库文件。你可以在网上找找,有个wordcount的例子。但是具体讲哪些类的好像没见过返闹。

c语言或者其他语言的程序可以使用streaming方式来运行。

streaming的执行方法如下:

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar [options]

Options:

-input<path>任务的输入路径

-output <path>任务的输出路径,需要是一个还不存在的目录。否则任务不能执行。

-mapper <cmd|JavaClassName> mapper的程序(可以是java的类,也可以是编译好的其他语言的程序)

-combiner <JavaClassName>Combiner的程序

-reducer <cmd|JavaClassName> reducer的程序

-file <file>程序运行所需要的文件或目录,会在执行消帆任务前拷贝到所有节点机器上

-inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional.输入文件的格式一般保持默认(默认可以不写这个参数)即可。

-outputformat TextOutputFormat(default)|JavaClassName Optional.输出文件的格式

-partitioner JavaClassName 这个是决定根据key值制定处理数据用哪个reducer的那个类。

-numReduceTasks <num> reducer的数目(这只是任务分配的数目,具体能否并行执行还看hadoop配置的最大并发reducer数目)

-inputreader <spec> 这个参数没用过。。。。。

-cmdenv <n>=<v> 运行程序需要的一些环境变量

-mapdebug <path> 远程调试用,不明白是怎么用的。。。

-reducedebug <path> 远程调试用

实际使用中至少需要指定输入、输出目录和mapper程序

例子:$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar -input test -output out -mapper cat

注意:hadoop-streaming.jar默认并不在$HADOOP_HOME中,你可以在$HADOOP_HOME/contrib/streaming/中找到漏桥罩这个jar包,或者直接使用$HADOOP_HOME/contrib/streaming/hadoop-0.20.2-streaming.jar

总结一下hadoop2.0hdf和mapreduce主要的编程接口有哪些

有时候确实我们有需要等到页面的所有东西都加载完后再执行我们想执行的函数,所以是该使用$(window).load(function(){...})还是

该使用$(function(){})往往需要结合具体需要而作不同的选芹伍择.

最后拆团附上一嫌御或段在所有DOM元素加载之前执行的jQuery代码

<script type="text/javascript">

(function() {

alert("DOM还没加载哦!")

})(jQuery)

</script>


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/yw/12305244.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-22
下一篇2023-05-22

发表评论

登录后才能评论

评论列表(0条)

    保存