CDH 配置 Sentry 服务

Hive ->配置 ->搜索 sentry ->勾选Sentry ->保存更改 ->重启服务

HDFS ->配置 ->搜索 acl ->启用访问控制列表和Sentry同步 ->保存更改 ->重启服务

Hue中集成了一个安全模块用来界面化 *** 作Sentry。设置Hue以管理Sentry权限时，请确保正确设置了用户和组。连接到Sentry的每个Hue用户必须与服务器 *** 作系统中的用户相同，以便Sentry可以对Hue用户进行身份验证。Hue中的用户group也同样要与本地 *** 作系统中的用户group相同。

Hue ->配置 ->搜索 sentry ->勾选Sentry ->保存更改

Sentry ->配置 ->搜索 admin ->勾选Sentry ->保存更改 ->重启服务

为Hive启用Sentry后会导致HiveServer2的部分属性无法在客户端运行时进行修改。具体受限制的属性参数如下，当然你依旧可以在HiveServer2服务端进行参数修改。

保护Hive Metastore是非常重要的。如果你的集群没有启用Kerberos，请将sentry.hive.testing.mode属性设置为true，以允许Sentry使用较弱的身份验证机制。

注意:

Cloudera强烈建议不要在生产环境中配置该参数。该参数仅适用于Sentry的测试模式，可以用于你的测试环境

Hive->配置 ->搜索 sentry-site.xml->添加下面配置 ->保存更改 ->重启服务

当HiveServer2和Beeline客户端不在同一台主机时，不能使用ADD JAR命令。作为替代的，在加载jar包时只能通过在Hive服务中配置hive.reloadable.aux.jars.path路径。启用S​​entry时，创建永久函数和临时函数的过程存在一些差异。

参考:

https://www.cloudera.com/documentation/enterprise/latest/topics/sg_sentry_service_config.html

1、问题的描述：当你利用ClouderaManager部署了CDH的集群后，也许随着你的业务需求，你需要对你的就去哪做一些优化，或者扩展之类的，这个时候你可能需要下载安装一些组件。例如，我最近在阅读Cloudera官方文档的是，看到有一节的内容说到PerformanceManagement的时候，发现为了提升集群的性能，经常会将数据进行压缩，此时就会需要添加一些parcel的安装。2、方法详述：为了能够安装自己想要的parcel的软件包，采用的方式可以：（1）在ClouderaManager的主界面选择“host（主机）”---->parcel，就会出现如下的界面：（2）点击上图的红色按钮（编辑设置）进入设置界面：若是手动下载的parcel包，可以将其放到对应目录下，默认是/opt/cloudera/parcel-repo/目录下。若需要配置远程下载的repo路径，则只需要在旁边点击“+”这个按钮即可。（3）设置好了这两个参数后，回到（1）中的parcel界面，点击检查新parcel按钮即可显示。（4）分配和激活即可。

CDH Yarn资源队列划分管理

场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的

CDH版本：5.x

配置：

1 yarn资源队列参数设置：

(1)yarn.scheduler.fair.user-as-default-queue false

解释：当设置为 true 时，如果未指定池名称，Fair Scheduler 将会使用用户名作为默认的池名称。当设置为 false 时，所有应用程序都在一个名为 default 的共享池中运行。设置成false是为了不根据用户名而自动分配资源池。

Fair Scheduler：yarn的公平调度器，对全局资源和对所有的应用作业都均匀分配的资源分配方法。默认情况下，它是基于内存来安排公平调度策略，也可以配置成为同时基于内存和CPU来进行调度。总的来说，它是一种基于内存，给集群中所提交的应用程序分配资源的调度器。

(2)yarn.scheduler.fair.allow-undeclared-pools false

解释：设置为 true 时，将使用默认设置创建在应用程序中指定但未明确配置的池。设置为 false 时，将在名为 default 的池中运行应用程序指定的未明确配置的池。此设置适用于应用程序明确指定某个池时以及应用程序运行所在的池的名称为与该应用程序关联的用户名的情况。

默认是true，允许创建未定义的资源池。当用户提交了一个作业，指定的队列不存在的时候，会自动创建出这个不存在的队列。设置成false，如果任务中指定了一个未定义的资源池，那么这个资源池将不会被创建，该任务会被分配到默认的资源池中，default。

修改完配置重启服务

2 CDH 动态资源队列配置

如图，第一步我们划分了2个资源池：、

(1)root.default:默认池，没有划分资源池的用户会提交到default资源池

权重定义了资源池之间分配资源的比例，目前集群中的default资源池和users资源池的权重各为1,那么集群中的资源会将50%分配给default，50%分配给users，但是这里的资源分配不是一个静态的概念，假如users中没有任务在运行，那么default资源池是允许使用超过50%的资源的，且资源池配置允许在线修改，修改后不需要重启yarn，因为RM会周期性的读取资源池的配置信息

设置default资源池的调度算法：使用DRF，即根据内存和CPU进行资源调度

yarn.scheduler.fair.preemption解释：启用后，如果在某些时间段未达到池的最小共享，Fair Scheduler 可以优先选取其他池中的应用程序。优先权可保证生产应用程序不缺乏资源，同时还可使群集用于实验和研究应用程序。为尽量减少计算资源浪费，Fair Scheduler 会优先选取最近启动的应用程序。

该项不建议开启。

Yarn的资源抢占本身就具有一定的资源开销，并且如果开启了资源抢占，对于长时间运行的任务容易出现延迟的情况。所以在此也建议配置队列时，要将长时间运行任务和执行时间较短的任务放在不同的队列中。同时对于队列的maxResource，可以适当的配置大些，这样即使不打开抢占，RM也是可以将一个队列的已经运行完成的资源回收分配给别的队列。从而达到提高资源的利用率。

解释：

yarn.acl.enable：指定是否应检查管理 ACL 中指定的用户和组执行管理 *** 作的授权。

yarn.admin.acl：确定哪些用户和组可在任何池中提交和中止应用程序以及可以对 ResourceManager 角色发出命令的 ACL。

重启服务

添加was用户资源池

资源池的提交控制访问和管理控制访问的配置会自动继承到子队列中，比如在root资源池下的提交控制访问中配置了用户was，那么即使root.test的提交用户访问中配置是空，用户was也可以向队列test中提交yarn应用程序。

计划模式：可以根据不同时间段使用不同的资源池配置，合理使用集群的纵向资源

创建新的计划规则：

配置完计划模式，资源池会有多套配置，如下

配置完不同时间段使用的配置集后，修改各配置集的资源分配。例如streaming资源池在默认的配置集下，权重是2，使用的集群的资源占50%,但是在night配置集下配置的权重是1，使用的集群的资源占33%。而nigth配置集是在每天晚上8点到第二天早上六点时间段生效的。

放置规则：控制任务使用资源池的规则，即任务会根据以下的规则放到对应的资源池中执行，不需要自定义配置，在提交任务的时候显示的指定队列即可

用户限制：控制用户可以提交的最大应用程序数量，可以统一配置，也可以单独给某个用户配置

---