Hadoop2.7.3环境搭建之伪分布式

Hadoop2.7.3环境搭建之伪分布式

目录

实验环境

实验目录

准备工作

安装步骤

jdk安装

安装hadoop

伪分布式配置

---

实验环境

1. Windows10+Centos7+Linux+Mobaxterm

实验目录

1. 准备工作
2. 实验步骤

准备工作

1. jdk-8u171-linux-x64.tar.gz和hadoop-2.7.3.tar.gz

安装步骤 jdk安装

1. 在根目录下创建tools目录和training目录，执行：

   mkdir tools
   mkdir training

2. 将jdk-8u171-linux-x64.tar.gz上传至/tools/目录下
3. 进入/tools/目录下将其解压至/training/目录下，执行：

   tar -zvxf jdk-8u171-linux-x64.tar.gz -C /training/

4.  配置环境变量，执行：

   vi ~/.bash_profile

5.  添加如下内容： 

   #JAVA
    export JAVA_HOME=/training/jdk1.8.0_171
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
    export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin;

6.  使环境生效，执行：

   source ~/.bash_profile

7.  验证jdk是否安装成功，执行：

   java -version

8.  设置虚拟机主机名，执行：

   hostnamectl --static set-hostname hadoop001

9. 虚拟机中配置主机名与虚拟机之间的映射关系，执行：  

   vi /etc/hosts

10. 在文件末尾添加类似于：192.168.88.100 hadoop001(也就是ip地址加虚拟机名称)

11. Windows系统下配置映射关系，进入到C:WindowsSystem32driversetc文件夹下，找到hosts文件，用记事本打开（以管理员身份运行），在末尾添加类似于：192.168.88.100 hadoop001(也就是ip地址加虚拟机名称)

12. 关闭防火墙

    systemctl status firewalld.service
    systemctl stop firewalld.service
    systemctl disable firewalld.service

13. 配置免密登录，执行：

     ssh-keygen -t rsa (执行命令后，只需敲三次回车键)
     cd ~/.ssh/
     ssh-copy-id -i id_rsa.pub root@hadoop001

安装hadoop

1. 将hadoop-2.7.3.tar.gz上传至/tools/目录下
2. 进入/tools/目录下将其解压至/training/目录下，执行：

   tar -zvxf hadoop-2.7.3.tar.gz -C /training/

3.  配置环境变量，执行：

   vi ~/.bash_profile

4.  添加如下内容

   #HADOOP
   export HADOOP_HOME=/training/hadoop-2.7.3
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

5.  使环境生效，执行：

   source ~/.bash_profile

6.  验证hadoop是否安装成功，执行：hdfs或hadoop

伪分布式配置

1. 在/training/hadoop-2.7.3目录下新建tmp，执行： 

   mkdir tmp

2. 进入/training/hadoop-2.7.3/etc/hadoop目录下，配置以下hadoop配置文件：

    hadoop-env.sh
    hdfs-site.xml
    core-site.xml
    mapred-site.xml
    yarn-site.xml

3. 配置hadoop-env.sh文件，修改JAVA_HOME内容：

   export JAVA_HOME=/training/jdk1.8.0_171

4. 配置hdfs-site.xml文件，在之间添加：

   
        dfs.replication
        1
    
    
        dfs.permissions
        false
    

5. 配置core-site.xml文件，在之间添加：

   
        fs.defaultFS
        hdfs://hadoop001:9000
                  
    
        hadoop.tmp.dir
        /training/hadoop-2.7.3/tmp
    

6. 配置mapred-site.xml文件，在之间添加：

   
       mapreduce.framework.name
       yarn
   
   
   
           mapreduce.jobhistory.address
           hadoop001:10020
   
   
   
           mapreduce.jobhistory.webapp.address
           hadoop001:19888
   

7. 配置yarn-site.xml文件，在之间添加：

   
           yarn.resourcemanager.hostname
           hadoop001
   
   
           yarn.nodemanager.aux-services
           mapreduce_shuffle
   
   
   
           yarn.log-aggregation-enable
           true
   
   
   
           yarn.log-aggregation.retain-seconds
           604800
   
   
   
       yarn.log.server.url
       http://hadoop001:19888/jobhistory/logs
   
   

8. 格式化hdfs，执行：

   hdfs namenode -format

9. 进入/training/hadoop-2.7.3/sbin目录下启动hadoop环境，执行：

   start-all.sh

10.  进入/training/hadoop-2.7.3目录下启动mr历史服务，执行：

    mr-jobhistory-daemon.sh start historyserver

11. web界面进行验证，使用浏览器访问以下两个地址：

    # 访问HDFS：
    http://hadoop001:50070
    # 访问Yarn:
    http://hadoop001:8088

正常会出现：

hdfs:

Yarn:

此后使用jps命令，查看是否有以下进程：

	NameNode
	DataNode
	SecondaryNameNode
	ReourceManager
	NodeManager

ok,小主人，恭喜你。到这里你应该配置完成啦！

注意：本文参考其他博客，如有错误，请指正。非常感谢！