基于maven搭建spark开发环境

基于maven搭建spark开发环境 1 背景     

需要开发spark 项目，开发语言为java

2 步骤

 2.1 创建工程

创建maven工程,这个不在这篇文档论述

2.2 引入pom

   
        1.8
        1.8
        2.3.3
        1.15
    

    
        
        
            org.apache.spark
            spark-core_2.11
            ${spark.version}
            
                
                    commons-codec
                    commons-codec
                
            
        
        
        
            commons-codec
            commons-codec
            ${commons-codec.version}
        
    

2.3 创建类，创建main方法

 

    public static void main(String[] args) {
        //简单的demo,创建一个list集合，里面有三个数字，1，2,3
        List array = new ArrayList<>();
        array.add(1);
        array.add(2);
        array.add(3);
        //构建spark环境
        SparkConf conf = new SparkConf().setAppName("map-reduce").setMaster("local");
        JavaSparkContext javaSparkContext = new JavaSparkContext(conf);
        //简单的spark处理
        JavaRDD parallelize = javaSparkContext.parallelize(array);
        long count = parallelize.count();
        System.out.println(count);
    }