Flink-从文件读取数据,输出到文件

时间:2024-10-30 09:01:51

1、文件准备

在项目的resource目录下创建一个words文件

文件内容:

hello word
hello scala
hello flink
hello spark

 2、数据处理

文件准备后,开始读取文件,将处理后数据输出到目标文件中

代码:

  1. object Wordcount {
  2. def main(args: Array[String]): Unit = {
  3. //创建环境变量
  4. val env = StreamExecutionEnvironment.getExecutionEnvironment
  5. //设置并行为1
  6. (1)
  7. //文件路径
  8. val filePath="D:\\BBQ\\bigdata-dm\\flinkemo\\src\\main\\scala\\resource\\"
  9. //读取文件
  10. val inputDS=(filePath)
  11. //分词统计
  12. import ._
  13. val wordcountDS =(_.split(" ")).map((_, 1)).keyBy(0).sum(1)
  14. ()
  15. ("D:\\BBQ\\bigdata-dm\\flinkemo\\src\\main\\scala\\resource\\")
  16. ()
  17. }
  18. }

 结果:

3、 结论:

可以看到resource目录下生成了一个文件,文件内容是按代码逻辑处理过的结果。

相关文章