idea连接sparkworker重启

idea连接sparkworker重启,第1张

Master作为Spark Standalone模式中的核心,如果Master出现异常,则整个集群的运行情况和资源都无法进行管理,整个集群将处于无法工作的状态。

Spark在设计的时候考虑到了这种情况,Master可以起一个或者多个Standby Master,当Master出现异常的时候,Standy Master 将根据一定规则确定一个接管Master。在Standalone模式中Spark支持下面集中策略(spark-env.sh配置spark.deploy.recoveryMode):

ZOOKEEPER:集群的元数据持久化到Zookeeper中,当Master出现异常后,Zookeeper会通过选举机制选出新的Master,新的Master接管时需要从Zookeeper中获取之前集群的持久化信息,并根据这些信息恢复集群状态。

FILESYSTEM:集群的元数据持久化到本地的文件系统中,当Master出态仿现问题后只要在该机器上重新启坦蠢动Master,重启后的Master会根据之前的持久化信息恢复集群状态。

CUSTOM:自定义恢复方式,对StandaloneRecoveryModeFactory抽象类进行实现并把该类配置让闭陪到系统中,当Master

启动官方SONGBIRD软件,对它进行修复或者格式化 *** 作,察大即可以解决问题。如果修复 *** 作,败没竖过程可能会麻烦一点,要按软件提示 *** 作,还要保证网络畅通,它会到官网下载察巧最新固件修复。若嫌麻烦,可以直接执行格式化 *** 作,也一般都能修复。

SONGBIRD是SPARK2自带的,也可以到PHILIPS官网下载。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/yw/12360818.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-23
下一篇2023-05-23

发表评论

登录后才能评论

评论列表(0条)

    保存