在具有Docker容器的独立集群上执行Spark SPARK_PUBLIC_DNS和SPARK_LOCAL_IP

在具有Docker容器的独立集群上执行Spark SPARK_PUBLIC_DNS和SPARK_LOCAL_IP

我想我找到了针对我的用例（一个Spark容器/主机OS）的解决方案：

1. --net host

   与

   docker run

   =>主机的eth0 一起使用在容器中可见
2. 设置

   SPARK_PUBLIC_DNS

   并

   SPARK_LOCAL_IP

   为主机的IP，忽略docker0的172.xxx地址

Spark可以绑定到主机的ip，其他机器也可以与之通信，端口转发负责其余的工作。不需要DNS或任何复杂的配置，我还没有对此进行全面的测试，但是到目前为止还不错。

编辑：请注意，这些说明适用于Spark 1.x，仅在Spark
2.x才

SPARK_PUBLIC_DNS

需要，我认为

SPARK_LOCAL_IP

已弃用。