Failed to execute user defined function(anonfun$main$3: (string, string) => string)

时间:2024-05-23 10:23:00

Failed to execute user defined function(anonfun$main$3: (string, string) => string)

多次检查了自己定义的函数,发现通过SparkSql语句查询的时候没有出现问题,但是使用insert语句插入Hive中时出现问题,然后根据下面的报错原因发现是 json处理数据的时候处理的数据有问题,可能是数据是空或者是没办法进行json识别的数据在处理的时候会导致报错。

报错的原因:中间数据处理的问题,没办法处理的数据导致自定义函数报错(没办法执行)

Caused by: com.alibaba.fastjson.JSONException: unclosed jsonArray

是自己处理json格式的数据时识别出了不是json类型的数据,导致数据处理失败

Failed to execute user defined function(anonfun$main$3: (string, string) => string)