Apache beam,使用java 8 lambdas处理错误/侧输出

时间:2021-09-17 15:35:25

Can anyone provide an exemple on how to handle invalid inputs in apache beam using Java8 Lambdas in the same logic that we can find in this excellent blog post https://cloud.google.com/blog/big-data/2016/01/handling-invalid-inputs-in-dataflow. Or do I have simply to use ParDo and DoFn

任何人都可以使用Java8 Lambdas提供如何处理apache beam中的无效输入的例子,我们可以在这篇优秀的博客文章https://cloud.google.com/blog/big-data/2016/01/中找到相同的逻辑处理-无效-输入功能于数据流。或者我只是使用ParDo和DoFn

PS I'm using beam 2.1.0

PS我正在使用beam 2.1.0

Cheers,

干杯,

1 个解决方案

#1


1  

Yes, you have to use DoFn. The transforms MapElements/FlatMapElements do not support side outputs.

是的,你必须使用DoFn。转换MapElements / FlatMapElements不支持侧输出。

#1


1  

Yes, you have to use DoFn. The transforms MapElements/FlatMapElements do not support side outputs.

是的,你必须使用DoFn。转换MapElements / FlatMapElements不支持侧输出。