CDH节点扩展

1.开启服务nptd,rpcbind.(没有就用yum安装，腾讯云服务器记得修改ntp.conf)

2.安装mysql client (yum install mysql).

3.修改交换内存系统配置,关闭透明大页等.

4.更新和同步hosts文件,每台机器的hosts文件都要有这台新机器的IP.

5.部署jdk1.8至/opt,参考其他机器.

6.配置主节点到新机器的免密SSH.

大功告成!

1.配置 Cloudera Manager 仓库(所有节点)

2.安装jdk 1.8（略）

3.安装mysql 5.7（略）

或者yum

这里 不详细说明了

修改集群中各机器的hosts和hostname，并使之永久生效。步骤如下：

输入命令 hostname：查看当前hostname；

输入命令 hostname <new.hostname>：修改new hostname并立即生效（临时有效，重启系统后失效）

输入命令 vim /etc/hosts：为集群中的各机器添加对应的hosts；

输入命令 vim /etc/sysconfig/network：修改HOSTNAME=new.hostname，使new.hostname永久生效。（如果没有该值则手动添加，并重启确认是否永久生效）

设置集群中的各机器能互相SSH免密登录，并且能够ssh locahost登录本机。步骤如下：

输入命令 ssh-keygen -t rsa，一路回车即可；

输入命令 ssh-copy-id -i .ssh/id_ rsa.pub username@target.machine.ip；

ssh登录各机器进行确认。

可能会有的报错：

/usr/bin/ssh-copy-id: ERROR: Host key verification failed.

因为我输入ssh-copy-id -i .ssh/id_ rsa.pub root@10.1.2.104.master时没有输入yes 直接回车，再次输入yes成功

sudo firewall-cmd --zone=public --add-port=7180/tcp --permanent

sudo firewall-cmd --reload

临时关闭防火墙

systemctl stop firewalld

检查SELinux当前状态：getenforce；

如果输出为Permissive或Disabled，那么就可以不用设置SELinux的模式了。如果输出是enforcing，就接着做下一步；

vim /etc/selinux/config (有些系统里是 /etc/sysconfig/selinux)；

将 SELINUX=enforcing 修改为 SELINUX=permissive，保存并退出；

输入 setenforce 0，使设置立即生效

集群中各机器都要配

https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install_cdh_enable_ntp.html

解压cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz

cloudera manager的目录默认位置在/opt下

mv cm-5.11.0 /opt/

mv cloudera /opt/

添加mysql 驱动

cd /opt/cloudera/parcel-repo/

复制以下文件到该目录

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel

manifest.json

修改

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1为

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha

各Service所需的库如下图，其中库名和user名可以自定义，但自己必须记住。（建议库名使用图中所示的，user名可以自定义，并且可以相同）

运行

登录：

http://10.1.4.44:7180/cmf/login

1 启动报错：

启动server/agent失败，报错pstree: command not found

安装 psmisc

2 我重装了HDFS所以报错

对当前 NameNode 的名称目录进行格式化。如果名称目录不为空，此 *** 作将失败。

删除 /dfs下的nn目录重试即可

3 datanode启动失败报错

将/dfs/nn 和 dn的 VERSION中的clusterIDs改为一致即可

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。

1、yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

2、cd /opt/cloudera/parcel-repo

（1）将第一部分下载的CDH Parcel文件（CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcelCDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha256和manifest.json）上传至该目录下

（2）mv CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha256 CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

（3）chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

3、将mysql-connector-java-5.1.47-bin.jar文件上传至CM Server节点上的/usr/share/java/目录下并重命名为mysql-connector-java.jar

4、安装 mysql（安装过程略），并创建相应库

mysql>CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci

mysql>CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci

mysql>CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci

mysql>CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci

mysql>GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm'

mysql>GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon'

mysql>GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman'

mysql>GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive'

mysql>FLUSH PRIVILEGES

mysql数据库与CM Server是同一台主机

执行命令：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

mysql数据库与CM Server不在同一台主机上

执行命令：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h --scm-host scm scm

5、启动cloudera-scm-server

systemctl start cloudera-scm-server

6、登录页面进行配置

ip:7180

---