初次启动Hadoop

首先把Hadoop安装包解压到系统中

查看其目录结构

要修改hadoop的一些配置，在etc/hadoop/目录下，修改hadoop-env.sh

配置jdk的路径

修改core-site.xml

在configuration中添加

fs.defaultFS  表示hadoop默认的文件系统是什么

hadoop.tmp.dir 表示其他datanode产生的要放在namenode上的文件的存放路径

在/etc/profile中添加Hadoop的环境变量配置，之后source

此时已经可以启动hadoop了

启动前先初始化hadoop 也就是创建那个临时目录

表示成功

启动hadoop的命令是hadoop-daemon.sh start namenode

查看一下 pid=4778即为hadoop的进程 9000是刚才在配置文件中配置的内部端口 50070是外部窗口

打开电脑上的浏览器输入nn-01:50070(nn-01是hostname)即可出现如下界面 证明hadoop启动成功并可访问

典型的配置：

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_HOME=$HADOOP_HOMEexport

YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export

LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/usr/local/lib:$HADOOP_HOM

/lib/native

修改hadoop解压文件名称 ：

mv hadoop-2.4.1 hadoop

将hadoop安装目录的权限赋值为hadoop用户：

chown -R hadoop:hadoop hadoop

创建Hadoop数据目录，并赋予权限：

[root@djt java]# mkdir -p /data/dfs/name

[root@djt java]# mkdir -p /data/dfs/data

[root@djt java]# mkdir -p /data/tmp

[root@djt java]# chown -R hadoop:hadoop hadoop /data/

[root@djt java]# ls -l /d

data/ dev/  [root@djt java]# ls -l /data/

total 8

drwxr-xr-x 4 hadoop hadoop 4096 May 21 17:26 dfs

drwxr-xr-x 2 hadoop hadoop 4096 May 21 17:26 tmp

1.1修改主机名

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=itcast    ###

*** 作系统集群配置

搭建3节点完全分布式集群，即1个nameNode，2个dataNode，分别如下:

1、创建虚拟机CentOS7并安装配置JDK，克隆两台

2、修改主机名：master、slave1、slave2

3、设置静态：10.221.101.1、10.221.101.2、10.221.101.3

4、关闭防火墙

5、免密设置

每台节点生成公钥：

master中将公钥id_dsa.pub添加进keys，实现master免密：

将master中公钥分别添加到slave1及slave2的keys中，实现master对slave1及slave2节点免密：

master执行 如下命令，进行验证

6、组件所用版本

安装路径：mkdir /usr/local/hadoop/hadoop-2.7.3/bin/

1、解压hadoop

2、 执行命令检查hadoop是否可用

查看是否显示hadoop版本信息Hadoop 2.7.3 显示即正常

3、创建所需目录

4、设置hadoop环境变量

任意目录输入 hado，然后按Tab，如果自动补全为hadoop，则说明环境变量配正确

同步到其他节点上

5、修改hadoop配置文件

—hadoop-env.sh

—core-site.xml

—hdfs-site.xml

—mapred-site.xml

—yarn-env.sh

—yarn-site.xml

— slaves

将localhost删掉，加入如下内容，即dataNode节点的hostname

6、 以上配置同步到slave1，slave2中

7、启动hadoop

— 首次启动需要先在 master 节点进行 NameNode 的格式化：

— 在master机器上，进入hadoop的sbin目录

8、查看是否启动成功

—jps 查看当前java的进程

输入jps 查看当前java的进程，列出当前java进程的PID和Java主类名，nameNode节点除了JPS，有3个进程

在slave1和slave2节点上分别输入 jps 查看进程如下，说明配置成功

— 查看运行状况

在浏览器访问nameNode节点的8088端口和50070端口可以查看hadoop的运行状况

192.168.1.110:50070

192.168.1.110:8088

zookeeper集群搭建要至少3个节点(master，slave1, slave2)，所以三台服务器都要部署zookeeper

1、解压到安装目录

2、添加环境变量

同步到其他节点上

3、 修改配置文件

/usr/local/hadoop/zookeeper-3.4.10/conf

删除原有内容

4 、根据以上配置 创建zookeeper的数据文件和日志存放目录

同步到其它节点

5 、在三台zookeeper的/usr/local/storage/zookeeper/data目录下分别创建并编辑myid

—创建

—编辑

6 、将以上配置同步到其他hadoop节点

7、启动zookeeper

如果zookeeper集群还没有启动的话, 首先把各个zookeeper起来。最好三个节点上同时启动

（1个leader,2个follower）

输入jps，会显示启动进程：QuorumPeerMain

前提安装mysql

1、解压到安装目录

2、 添加环境变量

同步到其他节点上

3 、配置文件修改

—hive-env.sh

—hive-site.xml

4、 hive lib中添加所需jar包

—添加mysql驱动

【以下可不配置】

—从hbase/lib下复制必要jar包

—同步hive和hadoop的jline版本

查看版本

若有低版本则删除

例如：jline 0.9 rm jline-0.9.94.jar

—复制jdk的tools.jar

5 、在配置的mysql中创建hive库

【需外界可连接上】

6 、hdfs创建存储数据的目录

7、 启动hive

hive 远程服务 (端口号10000) 启动方式[metastore和hiveserver2在同一台上启动即可]

hive 命令行模式

或者输入

查看进程为：2个RunJar

注意：可以在任意一台服务器上启动hive，都可以。

8 、查看启动进程

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode进程

Master上：

在 Slave 节点可以看到 DataNode 和 NodeManager 进程

Slave上：

程序启动成功后可以在任意一台启动hive

可以在启动MR-JobHistory服务，

Hadoop2 MR-JobHistory服务介绍

1）MR-JobHistory服务目标

主要是向用户提供历史的mapred Job 查询

详细解释：

a）在运行MR Job时，MR 的 ApplicationMaster会根据mapred-site.xml配置文件中的配置，将MR Job的job history信息保存到指定的hdfs路径（首先保存到临时目录，然后mv到最终目录）

b）如果在yarn-site.xml中，没有配置nodemanage的LogAggregation功能，则historyserver无法提供mr日志明细查询的功能（在提交mr job时，yarn和mapred的配置都是必须的）

c）historyserver向外提供两个接口，web接口可以提供jobhistory和明细日志查询的功能，而restApi只提供jobhistory查询的功能

1、 解压到安装目录

2、添加环境变量

同步到其他节点上

3、配置文件修改

/usr/local/hadoop/hbase-1.3.1/conf

—regionservers 文件

—hbase-env.sh

—hbase-site.xml

4、创建hbase-site.xml配置文件中的hbase目录

同步软件到其他节点

5、同步上述配置到其他节点

6、启动Hbase

—启动

—验证安装成功

—查看进程为：HMaster，HRegionServer

主节点：HMaster，HRegionServer

从节点：HRegionServer

—通过web UI访问hbase状态

http://192.168.1.110:16010/master-status

---