java 怎么提交应用程序到spark standalone集群中去运行

1、Spark脚本提交/运行/部署11spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192168180216:7077spark-shell启动完后，可以在交互窗口中输入Scala命令，进行 *** 作，其中spark-shell已经默认生成sc对象，可以用：valuser_rdd1=sctextFile(inputpath,10)读取数据资源等。12spark-shell（脚本运行模式）上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在testscala文件中，可以通过以下命令一次运行该文件中的程序代码：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192168180216:7077

spark的部署方式standalone和yarn有什么区别

Names ：用于改变段(segment)、组(group) 和类(class)的名字,默认值为CODE, DATA, BSS。

2 Linker：本菜单设置有关连接的选择项, 它有以下内容，如图所示：

1) Map file menu 选择是否产生MAP文件。

2) Initialize segments是否在连接时初始化没有初始化的段。

3) Devault libraries是否在连接其它编译程序产生的目标文件时去寻找其缺省库。

4) Graphics library 是否连接graphics库中的函数。

5) Warn duplicate symbols当有重复符号时产生警告信息。

6) Stack warinig是否让连接程序产生No stack的警告信息。

7) Case-sensitive link是否区分大、小写字。

3 Environment：菜单规定是否对某些文件自动存盘及制表键和屏幕大小的设置，它有以下内容，如图所示：

1) Message tracking：

Current file 跟踪在编辑窗口中的文件错误。

All files跟踪所有文件错误。

搭建Hadoop集群环境一般建议三个节点以上，一个作为Hadoop的NameNode节点。另外两个作为DataNode节点。在本次实验中，采用了三台CentOS 75作为实验环境。

将所需要的java 文件解压到合适的目录，并将整个java 目录添加进 /etc/profile ，并 source /etc/profile

需要说明的是ssh免密登录的配置不是双向的，是单向的。也就是说，每个节点都需要和另外两个节点进行ssh的免密配置。

此时会在用户目录的 ssh 下，生成秘钥文件。现在需要将此验证文件拷贝至slave1节点，

在 /etc/profile 目录下追加：

vim /home/postgres/hadoop/hadoop-330/etc/hadoop/hadoop-envsh 修改配置文件java路径

vim /home/postgres/hadoop/hadoop-330/etc/hadoop/core-sitexml 修改core-site文件

vim /home/postgres/hadoop/hadoop-330/etc/hadoop/hdfs-sitexml 修改hdfs-site文件

vim /home/postgres/hadoop/hadoop-330/etc/hadoop/yarn-sitexml 修改yarn-site文件

vim /home/postgres/hadoop/hadoop-330/etc/hadoop/mapred-sitexml 修改mapred-site文件

vim /home/postgres/hadoop/hadoop-330/etc/hadoop/slaves 修改slaves文件

手动创建文件夹：/home/postgres/hadoop/hdfs/ logs 和 data 目录，并分配777权限。

在hadoop初始化启动后，在master上xxx/name/namesecondary/下会自动创建/current/VERSION文件路径。

在master运行： hadoop namenode -format

如果有必要，运行DataNode命令： hadoop datanode -format

master+slave1+slave2启动集群： start-allsh

master : jps

slave1 : jps

slave2 : jps

hadoop dfsadmin -report

按照上述的配置情况：一个namenode节点，两个datanode节点，整个集群监控情况如下：

输入 >

以上就是关于java 怎么提交应用程序到spark standalone集群中去运行全部的内容，包括:java 怎么提交应用程序到spark standalone集群中去运行、spark的部署方式standalone和yarn有什么区别、Spark + Kafka大数据环境的搭建和示例的简单运行等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！