
https://hadoop.apache.org/releases.html
2. 将下载hadoop-3.0.0.tar.gz 解压至指定文件夹 D:\BigData 3. 配置hadoop 涉及环境变量:HADOOP_HOME:
PATH :
<configuration>
<property>
<name>fs.default.namename>
<value>hdfs://localhost:9000value>
property>
configuration>
4.2 修改D:/BigData/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>
4.3 在D:/BigData/hadoop-3.0.0目录下创建data目录,作为数据存储路径:
在D:/BigData/hadoop-3.0.0/data目录下创建datanode目录;
在D:/BigData/hadoop-3.0.0/data目录下创建namenode目录;
<configuration>
<property>
<name>dfs.replicationname>
<value>1value>
property>
<property>
<name>dfs.permissionsname>
<value>falsevalue>
property>
<property>
<name>dfs.namenode.name.dirname>
<value>/D:/hadoop-3.0.0/data/namenodevalue>
property>
<property>
<name>fs.checkpoint.dirname>
<value>/D:/hadoop-3.0.0/data/snnvalue>
property>
<property>
<name>fs.checkpoint.edits.dirname>
<value>/D:/hadoop-3.0.0/data/snnvalue>
property>
<property>
<name>dfs.datanode.data.dirname>
<value>/D:/hadoop-3.0.0/data/datanodevalue>
property>
configuration>
4.5 修改D:/BigData/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.classname>
<value>org.apache.hadoop.mapred.ShuffleHandlervalue>
property>
configuration>
4.6 修改D:/BigData/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置
(如果已经在系统环境中配置 JAVA_HOM则忽略此项)
找到 “set JAVA_HOME=%JAVA_HOME%”
替换为 set JAVA_HOME=set JAVA_HOME=C:\java\jdk1.8.0 <-- 此处为JDK路径
找到对应的版本后完整替换bin目录即可
至此配置完成.
5. 启动Hadoop 服务 5.1 启动Hadoop 格式化cmd进入命令行工具
hadoop namenode -format
进入D:\BigData\hadoop-3.0.0\sbin 文件夹,以管理员身份运行 start-all.cmd
此时同时启动了如下4个服务:
6. Hadoop涉及应用Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager
1、通过http://127.0.0.1:8088/即可查看集群所有节点状态
2、访问http://localhost:9870/即可查看文件管理页面
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)