在采用Cloudera-Manager安装cdh时，通常使用内嵌的PostgreSQL数据库。
Cloudera-Manager除了保存CDH集群的配置元数据的scm数据库外，还为Activity Monitor（活动监控）、Service Monitor（服务监控）、Report Manager（报告管理）、Host Monitor（主机监控）、Cloudera Navigator（Cloudera导航）等信息分别创建数据amon、smon、rmon、hmon、nav相应的数据。
CDH53 Oozie服务搭建
编写人：胡旻 版本：V_05 修改时间：20150215(Oozie版本CDH53组件V400)
版权所有转载请注明
一Oozie简介
Oozie是一个管理Hdoop作业（job）的工作流程调度管理服务。
1 Oozie的工作流是一系列动作的直接周期图(Directed Acyclical Graphs)。这些动作是典型的Hadoop任务(MapReduce,Streaming, Pipes, Pig, Hive, Sqoop, etc)2 Oozie协调作业就是通过时间（频率）和有效数据触发当前的Oozie工作流程3 Oozie可以将一系列协调作业捆绑作为一个任务进行管理4 Oozie 是一个可扩展，数据感知的服务，允许你在Hadoop上使用运行一系列独立的任务二．软件包
Oozie采用服务器客户端模式，对于安装Oozie有两种包选择，针对Oozie服务器(oozie)和客户端(oozie-client)的独立的RPM包。
三．安装需求
安装Oozie服务器需要满足
1 *** 作系统的支持(如：支持CDH5的 *** 作系统)2 Oracle JDK的支持
3 如果不想用自带的derby还需要一个可以支持的数据库安装Oozie Client需要满足
Oracle JDK的支持
四．安装Oozie
Oozie包含两个独立包;一个是客户端包(oozie-client)另一个是服务包(oozie)。选择你需要的合适的包进行安装。
使用yum方式安装Oozie服务包
$ sudo yum install oozie
使用yum方式安装Oozie客户端包
$ sudo yum install oozie-client
五．配置Oozie
1配置Hadoop任务的使用版本
Oozie客户端不会和HadoopMapReduce任务进行直接的交互，所以其不需要任何MapReduce的设置Oozie服务能够对接使用MRv1或YARN,但是不能同时使用。
文件类型
安装路径
二进制包
/usr/lib/oozie/
配置信息
/etc/oozie/conf/
文档
/usr/share/doc/oozie-400+cdh530+334
例子
/usr/share/doc/oozie-400+cdh530+334
数据
/usr/share/doc/oozie-400+cdh530+334
日志
/var/log/oozie
临时文件
/var/tmp/oozie/
PID文件
/var/run/oozie/
2 使用MySQL配置Oozie
安装和启动mysql，使用mysql命令台工具，创建Oozie数据库和Oozie的mysql用户$ mysql -u root -p
Enter password:
mysql> create database oozie;
Query OK, 1 row affected (003 sec)
mysql> grant all privileges on oozie to 'oozie'@'localhost' identified by 'oozie';Query OK, 0 rows affected (003 sec)
mysql> grant all privileges on oozie to 'oozie'@'%' identified by 'oozie';Query OK, 0 rows affected (003 sec)
mysql> exit
Bye
3配置Oozie使用MySQL，编辑oozie-sitexml中属性文件如下，配置oozie-sitexml$ sudo vim /etc/oozie/conf/oozie-sitexml
<property>
<name>oozieserviceJPAServicejdbcdriver</name>
<value>commysqljdbcDriver</value>
</property>
<property>
<name>oozieserviceJPAServicejdbcurl</name>
<value>jdbc:mysql://localhost:3306/oozie</value>
</property>
<property>
<name>oozieserviceJPAServicejdbcusername</name>
<value>oozie</value>
</property>
<property>
<name>oozieserviceJPAServicejdbcpassword</name>
<value>oozie</value>
</property>
4 添加MySQL JDBC 驱动包(JAR文件)给Oozie
拷贝或软连接mysql的JDBC驱动JAR文件到/var/lib/oozie/ 文件夹5 建立Oozie数据库模式
在设置完Oozie 数据库信息和创建相应的数据库，创建Oozie数据库模式，Oozie为这个目的提供了一个数据库工具运行Oozie数据库工具
$ sudo -u oozie /usr/lib/oozie/bin/ooziedbsh create -run你应该看到以下输出
Validate DB Connection
DONE
Check DB schema does not exist
DONE
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '400-cdh530'
The SQL commands have been written to: /tmp/ooziedb-5737263881793872034sql6 允许Oozie Web Console
为了允许Oozie webconsole, 下载添加ExtJS库到 Oozie服务器步骤1：下载库
从>
修改 hive 的元数据库需要修改 hive-sitexml配置文件，比如我们使用mysql数据库修改其配置如下所示：
< property>
< name>javaxjdooptionConnectionDriverName< /name>
< value>commysqljdbcDriver< /value>
< description>Driver class name for a JDBC metastore< /description>
< /property>
< property>
< name>javaxjdooptionConnectionURL< /name>
< value>jdbc:mysql://dajiangtaicom:3306/hivecharacterEncoding=UTF-8< /value>
< description>JDBC connect string for a JDBC metastore< /description>
< /property>
< property>
< name>javaxjdooptionConnectionUserName< /name>
< value>hive< /value>
< description>Username to use against metastore database< /description>
< /property>
< property>
< name>javaxjdooptionConnectionPassword< /name>
< value>hive< /value>
< description>password to use against metastore database< /description>
< /property>
cmfilecloud什么文件夹
vagrant是一个非常好用的工具，可以用它来在单台物理机器编程管理多个虚拟机(vms)。其支持原生VirtualBox，并同时提供了对VMwareFusion、AmazonEC2虚拟机集群的插件支持。vagrant提供了极易使用、基于Ruby的内部DSL，允许用户使用它们的配置参数定义一个或多个虚拟机。另外，对于自动部署，vagrant支持多种机制：可以使用puppet，chef或者用于在vagrant配置文件中定义的所有虚拟机上自动安装软件程序和配置的shell脚本等。所以，使用vagrant可以在运行着多台vm的系统上定义复杂的虚拟框架，是不是很酷vagrant的典型使用案例是以简单并且一致的方式构建工作或者开发环境。在Eligotech（原作者公司）公司里，开发人员正在开发一个产品，目标是让用户简单的使用ApacheHadoop、CDH(Cloudera的开源版本)。开发人员经常是为了测试需要在机器上安装hadoop环境。他们发现vagrant在这方面是一个非常便利的工具。一个vagrant配置文件的例子，你们可以自行测试。你需要下载并安装vagrant（帮助地址）和virtualBox。所有东西都安装完毕后即可复制粘贴下面的文本保存为Vagrantfile，并将其放到一个目录下，比如VagrantHadoop这个配置文件假定你机器内存至少32G，如果不适合可以自行编辑该文件。# -- mode: ruby --# vi: set ft=ruby :$master_script = /etc/hosts /etc/apt/sourceslistd/cloudera-$REPOCMlist keyapt-key add keyrm keyfiapt-get updateexport DEBIAN_FRONTEND=noninteractiveapt-get -q -y --force-yes install Oracle-j2sdk16 cloudera-manager-server-db cloudera-manager-server cloudera-manager-daemonsservice cloudera-scm-server-db initdbservice cloudera-scm-server-db startservice cloudera-scm-server startSCRIPT$slave_script = /etc/hosts /etc/hosts $master_script end configvmdefine :slave1 do |slave1| slave1vmbox = "precise64" slave1vmprovider "vmware_fusion" do |v| vvmx["memsize"] = "5120" end slave1vmprovider :virtualbox do |v| vname = "vm-cluster-node2" vcustomize ["modifyvm", :id, "--memory", "5120"] end slave1vmnetwork :private_network, ip: "1021155101" slave1vmhostname = "vm-cluster-node2" slave1vmprovision :shell, :inline => $slave_script end configvmdefine :slave2 do |slave2| slave2vmbox = "precise64" slave2vmprovider "vmware_fusion" do |v| vvmx["memsize"] = "5120" end slave2vmprovider :virtualbox do |v| vname = "vm-cluster-node3" vcustomize ["modifyvm", :id, "--memory", "5120"] end slave2vmnetwork :private_network, ip: "1021155102" slave2vmhostname = "vm-cluster-node3" slave2vmprovision :shell, :inline => $slave_script end configvmdefine :slave3 do |slave3| slave3vmbox = "precise64" slave3vmprovider "vmware_fusion" do |v| vvmx["memsize"] = "5120" end slave3vmprovider :virtualbox do |v| vname = "vm-cluster-node4" vcustomize ["modifyvm", :id, "--memory", "5120"] end slave3vmnetwork :private_network, ip: "1021155103" slave3vmhostname = "vm-cluster-node4" slave3vmprovision :shell, :inline => $slave_script end configvmdefine :slave4 do |slave4| slave4vmbox = "precise64" slave4vmprovider "vmware_fusion" do |v| vvmx["memsize"] = "5120" end slave4vmprovider :virtualbox do |v| vname = "vm-cluster-node5" vcustomize ["modifyvm", :id, "--memory", "5120"] end slave4vmnetwork :private_network, ip: "1021155104" slave4vmhostname = "vm-cluster-node5" slave4vmprovision :shell, :inline => $slave_script end configvmdefine :client do |client| clientvmbox = "precise64" clientvmprovider "vmware_fusion" do |v| vvmx["memsize"] = "4096" end clientvmprovider :virtualbox do |v| vname = "vm-cluster-client" vcustomize ["modifyvm", :id, "--memory", "4096"] end clientvmnetwork :private_network, ip: "1021155105" clientvmhostname = "vm-cluster-client" clientvmprovision :shell, :inline => $client_script endend
修改 hive 的元数据库需要修改 hive-sitexml配置文件，比如我们使用mysql数据库修改其配置如下所示：
< property>
< name>javaxjdooptionConnectionDriverName< /name>
< value>commysqljdbcDriver< /value>
< description>Driver class name for a JDBC metastore< /description>
< /property>
< property>
< name>javaxjdooptionConnectionURL< /name>
< value>jdbc:mysql://dajiangtaicom:3306/hivecharacterEncoding=UTF-8< /value>
< description>JDBC connect string for a JDBC metastore< /description>
< /property>
< property>
< name>javaxjdooptionConnectionUserName< /name>
< value>hive< /value>
< description>Username to use against metastore database< /description>
< /property>
< property>
< name>javaxjdooptionConnectionPassword< /name>
< value>hive< /value>
< description>password to use against metastore database< /description>
< /property>
以上就是关于如何访问cloudera cm数据库全部的内容，包括:如何访问cloudera cm数据库、针对cdh的组件oozie适合apache版本的hadoop组件一起使用么、cdh 5.2怎么修改hive元数据库等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）