window环境安装Hadoop 3.0.0

window环境安装Hadoop 3.0.0,第1张

1. 从官网下载Hadoop 3.0.0

https://hadoop.apache.org/releases.html

2. 将下载hadoop-3.0.0.tar.gz 解压至指定文件夹 D:\BigData

3. 配置hadoop 涉及环境变量:

HADOOP_HOME:

PATH :

4. 修改Hadoop配置 : 4.1 修改D:/BigData/hadoop-3.0.0/etc/hadoop/core-site.xml配置:
<configuration>
    <property>
        <name>fs.default.namename>
        <value>hdfs://localhost:9000value>
    property>
configuration>
4.2 修改D:/BigData/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:
<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>
4.3 在D:/BigData/hadoop-3.0.0目录下创建data目录,作为数据存储路径:

在D:/BigData/hadoop-3.0.0/data目录下创建datanode目录;
在D:/BigData/hadoop-3.0.0/data目录下创建namenode目录;

4.4 修改D:/BigData/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:
<configuration>
    
    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
    <property> 
     <name>dfs.permissionsname> 
     <value>falsevalue> 
  property>
   <property>
       <name>dfs.namenode.name.dirname>
       <value>/D:/hadoop-3.0.0/data/namenodevalue>
   property>
   <property>
        <name>fs.checkpoint.dirname>
        <value>/D:/hadoop-3.0.0/data/snnvalue>
    property>
    <property>
        <name>fs.checkpoint.edits.dirname>
        <value>/D:/hadoop-3.0.0/data/snnvalue>
    property>
       <property>
       <name>dfs.datanode.data.dirname>
       <value>/D:/hadoop-3.0.0/data/datanodevalue>
   property>
configuration>
4.5 修改D:/BigData/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:
<configuration>

    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.classname>
        <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
    property>
configuration>
4.6 修改D:/BigData/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置

(如果已经在系统环境中配置 JAVA_HOM则忽略此项)
找到 “set JAVA_HOME=%JAVA_HOME%”
替换为 set JAVA_HOME=set JAVA_HOME=C:\java\jdk1.8.0 <-- 此处为JDK路径

4.7 bin目录替换,至https://github.com/steveloughran/winutils下载解压

找到对应的版本后完整替换bin目录即可

至此配置完成.

5. 启动Hadoop 服务 5.1 启动Hadoop 格式化

cmd进入命令行工具

 hadoop namenode -format

进入D:\BigData\hadoop-3.0.0\sbin 文件夹,以管理员身份运行 start-all.cmd
此时同时启动了如下4个服务:

Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager

6. Hadoop涉及应用

1、通过http://127.0.0.1:8088/即可查看集群所有节点状态
2、访问http://localhost:9870/即可查看文件管理页面

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/langs/787067.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2022-05-05
下一篇2022-05-05

发表评论

登录后才能评论

评论列表(0条)

    保存