Spark Dataframe reducebykey之类的 *** 作

Spark Dataframe reducebykey之类的 *** 作

如果你不关心列名，你可以使用

groupBy

后跟

sum

：

df.groupBy($"key").sum("value")

否则最好替换

sum

为

agg

：

df.groupBy($"key").agg(sum($"value").alias("value"))

最后，您可以使用原始SQL：

df.registerTempTable("df")sqlContext.sql("SELECt key, SUM(value) AS value FROM df GROUP BY key")