spark读取json文件

spark读取json文件

tips:在spark2.0版本之后，SparkConf、SparkContext和SQLContext都已经被封装在SparkSession当中。

测试文本内容

{"name":"jack","age":20}
{"name":"zhangsan","age":19}
{"name":"lisi","age":25}
{"name":"wangwu","age":18}
{"name":"李华","age":22}

先创建一个Scala的object伴生对象

直接上代码！！！

  def main(args: Array[String]): Unit = {

   //创建SparkSession对象
    val spark: SparkSession = SparkSession
      .builder()
      .appName("test01")
      .master("local[*]")
      .getOrCreate()


    //读取json文件
    val df: Dataframe = spark.sqlContext.read
      .format("json")
      .json(
        "文件路径"
      )
    

   //内容展示，show默认只显示20行，可以通过参数调整
    df.show()


    spark.stop()
  }

输出结果：

 

后续可以进行一系列的 *** 作，比如清洗，入库，分析等等，就是这么简单~