eclipse开发spark应用程序 spark2.1.0 导入哪个jar包

在“File|ProjectStructure|Libraries”窗体中点击绿色+号，选择“Java”，在d出的窗体中选择“Spark”的安装目录，定位到Spark\jars目录，点击“OK”，把全部jar文件引入到项目中。网上和目前出版的书中讲解是spark2.0以下版本，采用的是把sparkle核心文件（如：“spark-assembly-1.3.0-hadoop2.4.0.jar”）拷贝到InterllijIDEA安装目录下的Lib目录下，再使用Spark。由于Spark2.1.0已经取消了该文件，因此无法用原先的方法。

方法一：spark-submit –jars

根据spark官网，在提交任务的时候指定–jars，用逗号分开。这样做的缺点是每次都要指定jar包，如果jar包少的话可以这么做，但是如果多的话会很麻烦。

spark-submit --master yarn-client --jars ***.jar,***.jar(你的jar包，用逗号分隔) mysparksubmit.jar

maven工程中添加jar有两种方式添。 第一： 通过【Dependencies】，可视化界面 *** 作点击Dependencies标签页。点击【add】按钮 输入我们想添加的jar包名字进行搜索.就会出现下图中所示。他会把对应名称的所有版本jar包列出来. 选择对应jar包，

---