ERROR queue.BoundedInMemoryExecutor: error producing records0] org.apache.parquet.io.ParquetDecoding

ERROR queue.BoundedInMemoryExecutor: error producing records0] org.apache.parquet.io.ParquetDecoding

文章目录

• 1 错误重现
• 2 出现原因以及解决

1 错误重现

ERROR queue.BoundedInMemoryExecutor: error producing records0]
org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in file hdfs://hdp-yl-1:8020/user/testJoin/test_join27/join/default/1d0f7a5b-fcbc-40aa-994d-ada47e3a3257-0_0-59-5054_20211119171950.parquet

2 出现原因以及解决

出错原因为将要写入的表格的字段和目的表格字段的数据类型不同导致的。

解决的方法，就是重置写入数据的数据类型，例子见下。

write_df2 = write_df2.withColumn("superior_emp_id",col("superior_emp_id").cast("string"))