spark内存溢出Consider boosting spark.yarn.executor.memoryOverhead

spark内存溢出Consider boosting spark.yarn.executor.memoryOverhead 记录spark运行task数据倾斜问题

Container killed by YARN for exceeding memory limits…
Consider boosting spark.yarn.executor.memoryOverhead

内存溢出，百度了好多，都说调整这个那个参数，都未成功。

后发现是数据倾斜问题造成

解决：根据提示代码1040行定位到原因，某个rdd groupBy的key全为空，导致数据倾斜