idea开发scala项目

  一般的，我们要使用idea开发scala的话，idea会自动的安装默认的scala，这里建议自己安装配置scala，然后idea还需要安装一个scala的插件。这里上面两个都不在叙述。但是scala配置了，scala的插件也安装了，但是右键新建文件，还是没有scala的选项。

  还需要在pom.xml文件里面引入build插件

  但是在我们引入build插件的时候，会发现，任然没有对应的scala选项，其实build插件只是在配迅构建的时候用的，真正需要的是还是一个scala的依赖。

  这个时候，你才会看到在new file里面有创建scala的选项的，有的时候，我们没有引入scala-library，但是项目也是可以创建scala的，这个时候你就要看看你培判此引入的其他的依赖了，在大数据领域，像spark，flink等都是使用scala开发的，在导入这些依赖的同时，也导入了scala-library。

所以创建一个可以创建scala的项目有以下的几个步骤

1.首先要安装配置好自己的scala

2.在idea里面安装scala的插件

3.在pom.xml文件里面引入scala的build插件

4.在pom.xml中冲穗引入scala-library的依赖，主要可能其他依赖scala的包自动的导入了scala-library，这个时候根据自己的情况判断是否需要覆盖自动导入的scala-library。

1.安装Scala插件：

2.点击『Install JetBrains plugin』按钮，查找Scala关键词，找到后安装。

3.创建Maven的Scala工程：

File-->New Project

选中左边栏的Maven，然雀姿后勾选右侧的"Create from archetype"选项，然后选中下方的『scala-archetype-simple』选项，Next进行下一步。

4.填写相应的GroupId、ArtifactId内容：

5.配置Maven相关的环境：

6.为项圆碰目取个名字，然后Finish。

7.修改项目的pom.xml文件，将『scala.version』改为依赖的Scala版本。

8.将项目打成jar包：

点击“+”按钮，添加一个jar包：

选中要打成jar包的Module，以及Main Class：

删除依赖包，只将本项目的代码“compile output”打入jar包。

如果不删除依赖包，执行jar包橘岁谈时可能会报如下错误：

Invalid signature file digest for Manifest main attributes

构件jar包：

jar文件构件成功后，一般会放到项目的out/artifacts/目录下。

下面是一个用Scala和Spark实现的统计虚拟机中文件中a和b数量的程序：

```scala

import org.apache.spark._

import org.apache.spark.SparkContext._

import org.apache.log4j._

object FileCharacterCount {

def main(args: Array[String]) {

Logger.getLogger("org").setLevel(Level.ERROR)

// 初始化SparkContext

val conf = new SparkConf().setAppName("FileCharacterCount").setMaster("local")

val sc = new SparkContext(conf)

// 读取文件并进行处理

val file = sc.textFile("path/to/your/file")

val aCount = file.flatMap(line =>line.toCharArray()).filter(c =>c == 'a').count()

val bCount = file.flatMap(line =>line.toCharArray()).filter(c =>升颂 c == 'b').count()

// 输出结果

println(s"文件中共有 $aCount 个好岩 a 和 $bCount 个 b.")

}

}

```

在这个程序中，我们首先创建了一个`SparkConf`对象，指定了应用程序的名称和运行模式。然后，我们使用该配置对象初始化了一个`SparkContext`对象。接下来，我们使用`textFile`方法从指定路径读取了文件，并使用`flatMap`方法将每一行转换为一个字吵袜郑符数组。然后，我们使用`filter`方法过滤出所有的'a'和'b'字符，并使用`count`方法统计它们的数量。最后，我们打印出结果。

请注意，您需要将程序中的`path/to/your/file`替换为您要处理的文件的实际路径。

---