
Spark在设计的时候考虑到了这种情况,Master可以起一个或者多个Standby Master,当Master出现异常的时候,Standy Master 将根据一定规则确定一个接管Master。在Standalone模式中Spark支持下面集中策略(spark-env.sh配置spark.deploy.recoveryMode):
ZOOKEEPER:集群的元数据持久化到Zookeeper中,当Master出现异常后,Zookeeper会通过选举机制选出新的Master,新的Master接管时需要从Zookeeper中获取之前集群的持久化信息,并根据这些信息恢复集群状态。
FILESYSTEM:集群的元数据持久化到本地的文件系统中,当Master出态仿现问题后只要在该机器上重新启坦蠢动Master,重启后的Master会根据之前的持久化信息恢复集群状态。
CUSTOM:自定义恢复方式,对StandaloneRecoveryModeFactory抽象类进行实现并把该类配置让闭陪到系统中,当Master
启动官方SONGBIRD软件,对它进行修复或者格式化 *** 作,察大即可以解决问题。如果修复 *** 作,败没竖过程可能会麻烦一点,要按软件提示 *** 作,还要保证网络畅通,它会到官网下载察巧最新固件修复。若嫌麻烦,可以直接执行格式化 *** 作,也一般都能修复。SONGBIRD是SPARK2自带的,也可以到PHILIPS官网下载。
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)