linux 下搭建rokectMQ集群

官网地址： https://github.com/alibaba/RocketMQ/releases/tag/v3.4.6

用三台机器搭建集群，3 namesrv、3 master、3 slave：

或者三台机器搭建，3 namesrv、2 master、2 slave：

这样保证高可用，各自的从机放在另一台机子上，如果一台机子宕机了，那master是会自动切换，另一个slave还可以消费宕机的那台的master的消息。

主配置文件 conf/2m-2s-async/：

从配置文件 conf/2m-2s-async/：

启动时如果报内存的相关的错误，修改runserver.sh、runbroker.sh 文件，更改内存大小：

启动脚本 runRMQ-pda.sh：

脚本中路径更改成自己的安装路径。

另外日志文件的输出路径也可更改：logback_broker.xml、logback_filtersrv.xml、logback_namesrv.xml、logback_tools.xml。

如 logback_broker.xml 文件配置：

前期准备

l 两台linux虚拟机（本文使用redhat5，IP分别为 IP1、IP2）

l JDK环境（本文使用jdk1.6，网上很多配置方法，本文省略）

l Hadoop安装包（本文使用Hadoop1.0.4）

搭建目标

210作为主机和节点机，211作为节点机。

搭建步骤

1修改hosts文件

在/etc/hosts中增加：

IP1 hadoop1

IP2 hadoop2

2 实现ssh无密码登陆

2.1 主机（master）无密码本机登陆

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

直接回车，完成后会在 ~/.ssh/ 生成两个文件： id_dsa 和 id_dsa.pub 。

这两个是成对出现，类似钥匙和锁。

再把 id_dsa.pub 追加到授权 key 里面 ( 当前并没有 authorized_key s文件 ) ：

cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

ssh localhost hostname

还是要输入密码，一般这种情况都是因为目录或文件的权限问题，看看系统日志，确实是权限问题

.ssh下的authorized_keys权限为600，其父目录和祖父目录应为755

2.2 无密码登陆节点机（slave）

slave上执行：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

生成.ssh目录。

将master上的authorized_keys复制到slave上：

scp authorized_keys hadoop2:~/.ssh/

实验：在master上执行

ssh hadoop2

实现无密码登陆。

3 配置Hadoop

3.1拷贝hadoop

将hadoop-1.0.4.tar.gz ,拷贝到usr/local 文件夹下，然后解压。

解压命令：

tar –zxvf hadoop-1.0.4.tar.gz

3.2查看 cat /etc/hosts

IP1 hadoop1

IP2 hadoop2

3.3 配置 conf/masters 和 conf/slaves

conf/masters：

1

IP1

conf/slaves：

1

2

IP2

IP2

3.4 配置 conf/hadoop-env.sh

加入

1

export JAVA_HOME=/home/elvis/soft/jdk1.7.0_17

3.5 配置 conf/core-site.xml

1

2

3

4

<property>

<name>fs.default.name</name>

<value>hdfs://IP1:9000</value>

</property>

3.6 配置 conf/hdfs-site.xml

加入

<property>

<name>dfs.http.address</name>

<value>IP1:50070</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop/namenode</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/local/hadoop/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

3.7 配置conf/mapred-site.xml

加入

<property>

<name>mapred.job.tracker</name>

<value>192.168.1.50:8012</value>

</property>

3.8 建立相关的目录

1

/usr/local/hadoop/ //hadoop数据和namenode目录

【注意】只创建到hadoop目录即可，不要手动创建data和namenode目录。

其他节点机也同样建立该目录。

3.9 拷贝hadoop文件到其他节点机

将hadoop文件远程copy到其他节点（这样前面的配置就都映射到了其他节点上），

命令：

1

scp -r hadoop-1.0.4 IP2:/usr/local/

3.10 格式化Active master

命令：

bin/hadoop namenode -format

3.11 启动集群 ./start-all.sh

现在集群启动起来了，看一下，命令：

1

bin/hadoop dfsadmin -report

2个datanode，打开web看一下

浏览器输入:IP1:50070

打完收工，集群安装完成！

---