如何在PySpark中基于数组值进行过滤？

如何在PySpark中基于数组值进行过滤？

对于基于相等的查询，可以使用

array_contains

：

df = sc.parallelize([(1, [1, 2, 3]), (2, [4, 5, 6])]).toDF(["k", "v"])df.createOrReplaceTempView("df")# With SQLsqlContext.sql("SELECT * FROM df WHERe array_contains(v, 1)")# With DSLfrom pyspark.sql.functions import array_containsdf.where(array_contains("v", 1))

如果要使用更复杂的谓词，则必须使用

explode

或使用UDF，例如，如下所示：

from pyspark.sql.types import BooleanTypefrom pyspark.sql.functions import udfdef exists(f):    return udf(lambda xs: any(f(x) for x in xs), BooleanType())df.where(exists(lambda x: x > 3)("v"))

在Spark 2.4中。或更高版本，也可以使用高阶函数

from pyspark.sql.functions import exprdf.where(expr("""aggregate(    transform(v, x -> x > 3),    false,     (x, y) -> x or y)"""))

要么

df.where(expr("""    exists(v, x -> x > 3)"""))

Python包装器应该在3.1（SPARK-30681）中可用。