Spark Local模式安装

Spark Local模式安装 一、前期准备工作

1.配置CentOS7教程

2.配置网络环境

3.远程工具连接

4.安装必要的软件

5.卸载重装JDK

6.卸载重装MySQL

二、安装Spark 一、下载安装包

官网下载Spark安装包

二、上传安装包

cd /export/software

rz 上传

三、解压安装包

tar -zxf spark-3.1.2-bin-hadoop3.2.tgz  -C /export/server/

四、重命名

cd /export/server
mv spark-3.1.2-bin-hadoop3.2 spark

三、测试

cd /export/server/spark/bin
./spark-shell

四、说明

sc：SparkContext实例对象spark：SparkSession实例对象4040：Web监控页面端口号Spark-shell说明：

直接使用./spark-shell

表示使用local 模式启动，在本机启动一个SparkSubmit进程 还可指定参数 --master，如：

spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务spark-shell --master local[*] 表示使用当前机器上所有可用的资源 不携带参数默认就是

spark-shell --master local[*] 后续还可以使用–master指定集群地址，表示把任务提交到集群上运行，如

./spark-shell --master spark://node01:7077,node02:7077 退出spark-shell

使用 :quit