Hadoop环境搭建三 伪分布式

Hadoop环境搭建三 伪分布式

一，配置core-site.xml

二，配置hdfs-site.xml

三，格式化NameNode

四，启动服务   

五， 配置yarn-site.xml

六， 配置mapred-site.xml

七， 启动resourcemanager

八， 启动nodemanager

九， 将文件上传到HDFS

HDFS是进行存储的，YARN是进行调度的。

一， 在hadoop中配置core-site.xml

1. 切换到hadoop下面的etc（配置文件都在etc下面）
2. 编辑文件

命令

vi core-site.xml

插入数据： 指定HDFS中namenode的地址。将命令放到configuration标签中

fs.defaultFS

    hdfs://hadoop100:9820









        hadoop.tmp.dir

        /opt/module/hadoop-3.1.3/data/tmp

然后保存退出（esc+：wq）

二， 在hadoop中配置hdfs-site.xml

    1. 要在hdfs-site.xml里面插入数据

命令：

vi hdfs-site.xml

按 i 进入编辑模式 （后面同理，编辑文件都要先进入编辑模式才能编辑）

在configuration中指定HDFS的数量

        dfs.replication

        1

三， 格式化NameNode（第一次启动时格式化，以后就不要总格式化）

格式化命令：

hdfs namenode –format

四，启动namenode   

          

命令：

hdfs  - -daemon  start  namenode

五， 启动datanode

命令：

hdfs  --daemon start datanode

六， 配置yarn-site.xml

命令：

vi yarn-site.xml

插入以下代码

注意：插入数据注意自己的虚拟机名称  在value标签里

yarn.nodemanager.aux-services

mapreduce_shuffle







yarn.resourcemanager.hostname

hadoop100



 

  yarn.nodemanager.env-whitelist        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

 

七，配置mapred-site.xml

1. 配置mapred-site.xml

命令：

vi mapred-site.xml

插入数据：

                mapreduce.framework.name

                yarn

八， 启动resourcemanager

1. 启动resourcemanager

命令：[root@hadoop100 hadoop]#

yarn --daemon start resourcemanager

九，启动nodemanager

1. 启动nodemanager

命令：[root@hadoop100 hadoop]#

yarn --daemon start nodemanager

1. Jsp查看java进程  看是否成功  如果缺失对缺失服务再次启动

命令：

jsp

1. 在HDFS中创建文件夹/user/input

命令：

hdfs dfs -mkdir -p /user/input

1. 将文件上传到HDFS

命令：hdfs  dfs  –put 要上传的文件名 上传的地址

案例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

1. 查看hdfs的文件目录

命令：Hdfs dfs –ls 文件路径   

注意，这里面的根目录不是linux的根目录

案例：hdfs dfs -ls /user/input/

1. 查看hdfs中文件内容

命令：hdfs dfs –cat 文件名

案例：hdfs dfs -cat /user/input/wc.input

1. 执行文件

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置

案例：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input  /user/output

1. 查看执行后的结果

命令：hdfs dfs -cat 输出文件路径/*

案例：hdfs dfs -cat /user/output/*

1. 停止进程

   hdfs –daemon stop namenode

Hdfs维护了一个抽象的目录

完全分布式

1.配置集群

100

101

102

HDFS

Namenode

Datanode

Datanode

SecondarynameNod

(2nn)

YARN

Nodemonager

Resourcemanager

Namemanager

HDFS架构概述

(1) NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本文件权限)，以及每个文件的块列表和块所在的DataNode等。

(2)DataNodc(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

(3) Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

注：因为（3）经常备份文件较大不能和（1）放在一台虚拟机里

YARN架构

一． ResourceManager(RM)主要作用如下

(1)处理客户端请求

(2)监控NodeManager Node

(3）启动或监控ApplicationMaster Manager

(4)资源的分配与调度

二.  NodeManager（NM）主要作用如下 Manager

(1)管理单个节点上的资源

(2)处理来自ResourceManager的命令

(3)处理来自ApplicationMaster的命令

注：因为Resourcemanager占用内存较大尽量不要和Nodemonager放在一台虚拟机里

切换路径 cd /opt/module/hadoop-3.1.3/etc/hadoop/

核心配置文件

配置：hadoop-env.sh(在/opt/module/hadoop-3.1.3/etc/hadoop目录下)Linux系统中获取JDK的安装路径：

[soft863@ hadoop100 ~]# echoSIAVA HOME

/opt/module/jdk1.8.0 212

在hadoop-env.sh文件中修改JAVA_HOME路径：

(在第54行修改)

export JAVA HOME=/opt/module/jdk1.8.0 212