
YARN大大提高了集群的资源利用率,并降低了集群管理成本。首先,YARN允许多个应用程序运行在一个集群中,并将资源按需分配给它们,这大大提高了资源利用率。其次,YARN允许各类短作业和长服务混合部署在一个集群中,并提供了容错、资源隔离及负载均衡等方面的支持,这大大简化了作业和服务的部署和管理成本。
进入集群主页
选择需要添加服务的集群,添加服务
继续
分配角色
完成
与客户端交互,处理来自客户端的请求
启动和管理ApplicationMaster,并在它运行失败时重新启动它
管理NodeManager ,接收来自NodeManager 的资源汇报信息,并向NodeManager下达管理指令
资源管理与调度,接收来自ApplicationMaster 的资源申请请求,并为之分配资源
启动和监视节点上的计算容器
以心跳的形式向RM汇报本节点上的资源使用情况和各个Container的运行状态
接收并处理来自AM的Container启动/停止等各种请求
Hive ->配置 ->搜索 sentry ->勾选Sentry ->保存更改 ->重启服务
HDFS ->配置 ->搜索 acl ->启用访问控制列表和Sentry同步 ->保存更改 ->重启服务
Hue中集成了一个安全模块用来界面化 *** 作Sentry。设置Hue以管理Sentry权限时,请确保正确设置了用户和组。连接到Sentry的每个Hue用户必须与服务器 *** 作系统中的用户相同,以便Sentry可以对Hue用户进行身份验证。Hue中的用户group也同样要与本地 *** 作系统中的用户group相同。
Hue ->配置 ->搜索 sentry ->勾选Sentry ->保存更改
Sentry ->配置 ->搜索 admin ->勾选Sentry ->保存更改 ->重启服务
为Hive启用Sentry后会导致HiveServer2的部分属性无法在客户端运行时进行修改。具体受限制的属性参数如下,当然你依旧可以在HiveServer2服务端进行参数修改。
保护Hive Metastore是非常重要的。如果你的集群没有启用Kerberos,请将sentry.hive.testing.mode属性设置为true,以允许Sentry使用较弱的身份验证机制。
注意:
Cloudera强烈建议不要在生产环境中配置该参数。该参数仅适用于Sentry的测试模式,可以用于你的测试环境
Hive->配置 ->搜索 sentry-site.xml->添加下面配置 ->保存更改 ->重启服务
当HiveServer2和Beeline客户端不在同一台主机时,不能使用ADD JAR命令。作为替代的,在加载jar包时只能通过在Hive服务中配置hive.reloadable.aux.jars.path路径。启用Sentry时,创建永久函数和临时函数的过程存在一些差异。
参考:
https://www.cloudera.com/documentation/enterprise/latest/topics/sg_sentry_service_config.html
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)