
WAS是计算机业界领先的安全专家服务项目,是一项针对web应用程序而设计的安全服务。
不少的朋友在计算机专业杂志上,有时候会看到WAS这个概念,究竟WAS的真实含义是什么呢?它都有哪些特点,它的应用范围是哪些呢?下面让我们共同去了解吧。
详细内容01WAS允许以不同的方式创建测试脚本:可以通过使用浏览器走一遍站点来录制脚本,可以从服务器的日志文件导入URL,或者从一个网络内容文件夹选择一个文件。当然,也可以手工地输入URL来创建一个新的测试脚本。
02WAS是被设计用于模拟Web浏览器发送请求到任何采用了HTTP1.0或1.1标准的服务器,而不考虑服务器运行的平台。
03对于需要署名登录的网站,WAS允许创建用户帐号。允许为每个用户存储cookies 和Active Server Pages (ASP) 的session信息。
04WAS支持随机的或顺序的数据集,以用在特定的名字-值对,支持带宽调节和随机延迟(“思考的时间”)以更真实地模拟显示情形。
05WAS支持任意协议监听器的可插拔式激活。WAS向所有类型的消息激活应用提供了智能化的资源管理、按需进程激活、健康状态监控和失效自动检测与回收。
CDH Yarn资源队列划分管理场景:根据不同项目或不同用户,对yarn资源队列进行划分,达到资源管控,任务管控的目的
CDH版本:5.x
配置:
1 yarn资源队列参数设置:
(1)yarn.scheduler.fair.user-as-default-queue false
解释:当设置为 true 时,如果未指定池名称,Fair Scheduler 将会使用用户名作为默认的池名称。当设置为 false 时,所有应用程序都在一个名为 default 的共享池中运行。设置成false是为了不根据用户名而自动分配资源池。
Fair Scheduler:yarn的公平调度器,对全局资源和对所有的应用作业都均匀分配的资源分配方法。默认情况下,它是基于内存来安排公平调度策略,也可以配置成为同时基于内存和CPU来进行调度。总的来说,它是一种基于内存,给集群中所提交的应用程序分配资源的调度器。
(2)yarn.scheduler.fair.allow-undeclared-pools false
解释:设置为 true 时,将使用默认设置创建在应用程序中指定但未明确配置的池。设置为 false 时,将在名为 default 的池中运行应用程序指定的未明确配置的池。此设置适用于应用程序明确指定某个池时以及应用程序运行所在的池的名称为与该应用程序关联的用户名的情况。
默认是true,允许创建未定义的资源池。当用户提交了一个作业,指定的队列不存在的时候,会自动创建出这个不存在的队列。设置成false,如果任务中指定了一个未定义的资源池,那么这个资源池将不会被创建,该任务会被分配到默认的资源池中,default。
修改完配置重启服务
2 CDH 动态资源队列配置
如图,第一步我们划分了2个资源池:、
(1)root.default:默认池,没有划分资源池的用户会提交到default资源池
权重定义了资源池之间分配资源的比例,目前集群中的default资源池和users资源池的权重各为1,那么集群中的资源会将50%分配给default,50%分配给users,但是这里的资源分配不是一个静态的概念,假如users中没有任务在运行,那么default资源池是允许使用超过50%的资源的,且资源池配置允许在线修改,修改后不需要重启yarn,因为RM会周期性的读取资源池的配置信息
设置default资源池的调度算法:使用DRF,即根据内存和CPU进行资源调度
yarn.scheduler.fair.preemption解释:启用后,如果在某些时间段未达到池的最小共享,Fair Scheduler 可以优先选取其他池中的应用程序。优先权可保证生产应用程序不缺乏资源,同时还可使群集用于实验和研究应用程序。为尽量减少计算资源浪费,Fair Scheduler 会优先选取最近启动的应用程序。
该项不建议开启。
Yarn的资源抢占本身就具有一定的资源开销,并且如果开启了资源抢占,对于长时间运行的任务容易出现延迟的情况。所以在此也建议配置队列时,要将长时间运行任务和执行时间较短的任务放在不同的队列中。同时对于队列的maxResource,可以适当的配置大些,这样即使不打开抢占,RM也是可以将一个队列的已经运行完成的资源回收分配给别的队列。从而达到提高资源的利用率。
解释:
yarn.acl.enable:指定是否应检查管理 ACL 中指定的用户和组执行管理 *** 作的授权。
yarn.admin.acl:确定哪些用户和组可在任何池中提交和中止应用程序以及可以对 ResourceManager 角色发出命令的 ACL。
重启服务
添加was用户资源池
资源池的提交控制访问和管理控制访问的配置会自动继承到子队列中,比如在root资源池下的提交控制访问中配置了用户was,那么即使root.test的提交用户访问中配置是空,用户was也可以向队列test中提交yarn应用程序。
计划模式:可以根据不同时间段使用不同的资源池配置,合理使用集群的纵向资源
创建新的计划规则:
配置完计划模式,资源池会有多套配置,如下
配置完不同时间段使用的配置集后,修改各配置集的资源分配。例如streaming资源池在默认的配置集下,权重是2,使用的集群的资源占50%,但是在night配置集下配置的权重是1,使用的集群的资源占33%。而nigth配置集是在每天晚上8点到第二天早上六点时间段生效的。
放置规则:控制任务使用资源池的规则,即任务会根据以下的规则放到对应的资源池中执行,不需要自定义配置,在提交任务的时候显示的指定队列即可
用户限制:控制用户可以提交的最大应用程序数量,可以统一配置,也可以单独给某个用户配置
可以选择重新安装。前提:
修改networkcd/etc/sysconfig
vinetwork
NETWORKING=YES
NETWORKING_IPV6=YES
HOSTNAME=ODSE
禁用防火墙
1.datastage安装介质InfoSvr_8.7.0.1_Linux.tar.gz
解压文件后得到目录is_suite目录
2.进入is_suite
执行命令
nohup./setup&后台执行防止进程中断,安装程序大约2个小时
3.此时安装程序将启动一个Web服务
4正式进入安装页面之后是语言选择
NEXT选择开发环境是中文语言(咱们很爱国)
NEXT确认防火墙关闭
NEXT进行系统检查确认系统是否符合要求
这一步一般会出现系统内核警告信息,然后修改内核参数vi/etc/sysctl.conf根据警告信息参数来添加修改参数
NEXT选择安装目录(缺省目录,直接下一步就行)
NEXT选择一个新安装的install
NEXT选择安装组件选择Metadatarepository,Services,Engine.都选就行了
NEXT选择产品语言选择中文就行(咱中国人不学洋鬼子语言)
NEXT选择安装产品IBMInfoSphereDataStage,根据需要可以多选其他产品,选择其他事得花钱的,反正BOB花钱,管咱屁事
NEXT选择协议下一步就行了
NEXT选择安装的版本,咱们选择IBMInfoSphereDataStage就行了
NEXT集群配置下一步就行了,
NEXT安装应用服务器下一步就行
NEXT选择目录,下一步就行了
NEXTWAS服务端口设置
这一步会出现问题,把占用的端口号去vi/etc/services把占用的端口号注释掉就行
NEXT输入WAS管理员口令wasadmin
NEXT输入informationserver管理员口令isadmin
NEXT选择db2作为资料库
NEXT选择db2安装目录
NEXT创建db2一些用户密码跟用户名一样就行了,这一步创建不少用户db2inst1db2admindb2fenc1db2fadm1....六个左右吧,忘了几个了
NEXT这些用户创建成功下一步
NEXT创建information资料库用户名密码等确认下一步就行
NEXT下一步就行了
NEXT创建DataStage管理用户和口令,例如用户名为:dsadm,密码按照项目要求设置
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)