CDH下安装YARN服务

CDH下安装YARN服务,第1张

Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器 ,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

YARN大大提高了集群的资源利用率,并降低了集群管理成本。首先,YARN允许多个应用程序运行在一个集群中,并将资源按需分配给它们,这大大提高了资源利用率。其次,YARN允许各类短作业和长服务混合部署在一个集群中,并提供了容错、资源隔离及负载均衡等方面的支持,这大大简化了作业和服务的部署和管理成本。

进入集群主页

选择需要添加服务的集群,添加服务

继续

分配角色

完成

与客户端交互,处理来自客户端的请求

启动和管理ApplicationMaster,并在它运行失败时重新启动它

管理NodeManager ,接收来自NodeManager 的资源汇报信息,并向NodeManager下达管理指令

资源管理与调度,接收来自ApplicationMaster 的资源申请请求,并为之分配资源

启动和监视节点上的计算容器

以心跳的形式向RM汇报本节点上的资源使用情况和各个Container的运行状态

接收并处理来自AM的Container启动/停止等各种请求

Hive ->配置 ->搜索 sentry ->勾选Sentry ->保存更改 ->重启服务

HDFS ->配置 ->搜索 acl ->启用访问控制列表和Sentry同步 ->保存更改 ->重启服务

Hue中集成了一个安全模块用来界面化 *** 作Sentry。设置Hue以管理Sentry权限时,请确保正确设置了用户和组。连接到Sentry的每个Hue用户必须与服务器 *** 作系统中的用户相同,以便Sentry可以对Hue用户进行身份验证。Hue中的用户group也同样要与本地 *** 作系统中的用户group相同。

Hue ->配置 ->搜索 sentry ->勾选Sentry ->保存更改

Sentry ->配置 ->搜索 admin ->勾选Sentry ->保存更改 ->重启服务

为Hive启用Sentry后会导致HiveServer2的部分属性无法在客户端运行时进行修改。具体受限制的属性参数如下,当然你依旧可以在HiveServer2服务端进行参数修改。

保护Hive Metastore是非常重要的。如果你的集群没有启用Kerberos,请将sentry.hive.testing.mode属性设置为true,以允许Sentry使用较弱的身份验证机制。

注意:

Cloudera强烈建议不要在生产环境中配置该参数。该参数仅适用于Sentry的测试模式,可以用于你的测试环境

Hive->配置 ->搜索 sentry-site.xml->添加下面配置 ->保存更改 ->重启服务

当HiveServer2和Beeline客户端不在同一台主机时,不能使用ADD JAR命令。作为替代的,在加载jar包时只能通过在Hive服务中配置hive.reloadable.aux.jars.path路径。启用S​​entry时,创建永久函数和临时函数的过程存在一些差异。

参考:

https://www.cloudera.com/documentation/enterprise/latest/topics/sg_sentry_service_config.html


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/bake/11245169.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-14
下一篇2023-05-14

发表评论

登录后才能评论

评论列表(0条)

    保存