zookeeper集群搭建

zookeeper集群搭建

首先  先测试Hadoop集群时间，确保集群时间同步

Hadoop集群机器策划

192.168.137.2  hadoop01 nn1 dn   zk  qjm

192.168.137.3 hadoop02 nn2   dn   zk  qjm

192.168.137.4 hadoop03 dn   zk  qjm

JDK规划  ：1.7以上

防火墙规划：系统防火墙关闭

SSH免密码规划

hadoop01可免密访问hadoop02，hadoop03

hadoop02可免密访问hadoop01，hadoop03

生成密钥：#ssh-keygen -t rsa

向两外两台主机以及自己发送：ssh-copy-id

HDFS实现自动切换HA（全新HDFS）

1>修改 hadoop-env.sh

export JAVA_HOME=/home/master/modules/jdk1.7.0_67

2>修改 core-site.xml

  fs.defaultFS

  hdfs://xiaojiu

  hadoop.tmp.dir

 /home/master/hadoopdata/tmp

io.file.buffer.size

4096

3>修改 hdfs-site.xml

注：中文注释不要带

dfs.nameservices

xiaojiu

  dfs.ha.namenodes.xiaojiu

  nn1,nn2

  dfs.namenode.rpc-address.xiaojiu.nn1

  master:8020

  dfs.namenode.rpc-address.xiaojiu.nn2

  server01:8020

  dfs.namenode.http-address.xiaojiu.nn1

  master:50070

  dfs.namenode.http-address.xiaojiu.nn2

  server01:50070

  dfs.datanode.data.dir

  /home/master/modules/hadoopdata/name/data

  dfs.namenode.shared.edits.dir

  qjournal:// hadoop01:8485; hadoop02:8485; hadoop03:8485/xiaojiu

  dfs.journalnode.edits.dir

  /home/master/hadoopdata/journal1

  dfs.ha.automatic-failover.enabled

  true

        ha.zookeeper.quorum

        master:2181,server01:2181,server02:2181

dfs.client.failover.proxy.provider.xiaojiu

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

    dfs.ha.fencing.methods

    shell(/bin/true)

        dfs.ha.fencing.ssh.private-key-files

        /home/master/.ssh/id_rsa

        dfs.ha.fencing.ssh.connect-timeout

        30000

启动顺序

1>先启动zk集群

在各个zk服务其上执行如下命令：sh zkServer.sh start

2>在master上启动所有journalnode

 hadoop-daemons.sh start journalnode

3>格式化HDFS（在master上执行命令)

 hadoop namenode -format

4>格式化后在master上执行：

hadoop-daemon.sh start namenode

5>在server01hadoop目录bin下执行：

hdfs namenode -bootstarpStandby

6>格式化ZK(在Master上执行即可)

 hdfs zkfc -formatZK

7>启动HDFS(在master上执行)

start-dfs.sh

测试：

在网页上打开 ：192.168.137.2：50070

 

再打开：192.168.137.3：50070

完成之后再回到ip为192.168.137.2的虚拟机上杀死namenode

kill -9 +namenode的序列号

再次回到网页，打开192.168.137.2：50070出现网页找不到

打开192.168.137.3，显示：

安装完成！！！