java 怎么提交应用程序到spark standalone集群中去运行

1、Spark脚本提交/运行/部署1.1spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell启动完后，可以在交互窗口中输入Scala命令，进行 *** 作，其中spark-shell已经默认生成sc对象，可以用：valuser_rdd1=sc.textFile(inputpath,10)读取数据资源等。1.2spark-shell（脚本运行模式）上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在test.scala文件中，可以通过以下命令一次运行该文件中的程序代码：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077

这个试试吧

import java.io.BufferedReader

import java.io.IOException

import java.io.InputStreamReader

public static void main(String[] args) {

try {

String s；

Process p = Runtime.getRuntime().exec("cmd.exe /c net start mysql")

BufferedReader bufferedReader = new BufferedReader(

new InputStreamReader(p.getInputStream()))

while((s = bufferedReader.readLine()) != null) {

System.out.println(s)

}

System.out.println("--------------")

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace()

}

1、Spark 是基于内存的分布式计算框架，因为无需利用 HDFS 作为中间结果保存的介质，性能杠杠的。Spark 是由 Scala 实现的，所以最好学习一下 Scala（当然用 Python 和 Java 也是可以的）。（http://wdxtub.com/2016/04/11/spark-guide/）

为啥要用 Spark？

快！基于内存

易用！Scala, Java, Python 都支持，还有交互式的 Python 和 Scala 的 shell，可以快速进行原型开发

通用！批处理、交互查询、流处理、机器学习、图计算，样样精通

兼容！可以使用各种现有的技术作为底层，也可以自己独立运行

Spark 生态系统有哪些组件？

Spark SQL: 类似 Hive，支持在不同 RDD 上进行类似 SQL 的 *** 作

Spark Streaming: 对于流数据进行处理

MLlib: 机器学习库

GraphX: 图并行框架

RDD 是什么？

在 Spark 框架中，最重要的是一类新的数据抽象，叫做 Resilient Distributed Dataset - RDD。RDD 是分布式存储在集群中的内存对象，按照值的范围或者哈希结果进行划分。与此同时 RDD 会记录关于数据进行的各种 *** 作（每次 *** 作都会生成新的 RDD），这样即使节点挂掉，也能够根据之前的 *** 作日志重新得到损失的 RDD

RDD 支持2种 *** 作：

转换（transformation）：从现有的数据集创建一个新的数据集

动作（actions）：在数据集上运行计算后，返回一个值给驱动程序

2、实战java开发spark程序

https://my.oschina.net/csmw00/blog/672869

3、spark集群环境搭建

http://nekomiao.me/2016/12/05/spark-install-distributed/

---