Spark 单机版（不依赖Hadoop）

Spark 单机版（不依赖Hadoop） Spark 单机版

Spark 还久没有配置了，做个配置记录一下
Spark 单机版，不依赖Hadoop，只需安装JDK，Scala。

---

安装步骤

• Spark 单机版
• 简介
• 一、前期准备
• 二、安装步骤
• • 1.环境依赖
  • 2.Spark 文件修改
  • 3.启动测试

---

简介

查看网上好多安装Spark的步骤都太长了，不够简约，再此做个简约的步骤记录

---

一、前期准备

我使用版本的是 ：

jdk1.8.0_141
scala-2.11.12
spark-2.3.2-bin-hadoop2.7

二、安装步骤 1.环境依赖

全部解压后在 添加环境变量（~/.bashrc）：

# java 
export JAVA_HOME=/root/BigData/jdk1.8.0_141
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
# scala
export SCALA_HOME=/root/BigData/scala-2.11.12
# spark 没有依赖hadoop
export SPARK_HOME=/root/BigData/spark-2.3.2-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH:${SPARK_HOME}/bin

2.Spark 文件修改

复制出两个文件（cd spark解压文件/config/）：

cp spark-env.sh.template spark-env.sh
在spark-env.sh 最下面加入：

export JAVA_HOME=/root/BigData/jdk1.8.0_141
export SCALA_HOME=/root/BigData/scala-2.11.12
export SPARK_HOME=/root/BigData/spark-2.3.2-bin-hadoop2.7
export SPARK_MASTER_IP=learn
export SPARK_EXECUTOR_MEMORY=1G

cp slaves.template slaves
编辑 slaves，内容为 localhost

3.启动测试

测试

然后我们可以进行测试，spark-2.3.2-bin-hadoop2.7 在这个目录下执行：
./bin/run-example SparkPi 10

配置成功

启动

跟上面一样也是在 spark-2.3.2-bin-hadoop2.7 目录下，执行：
./bin/spark-shell

启动成功