本地idea开发flink程序并本地运行读取HDFS文件

时间：2021-06-03 09:17:56
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.5</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.5</version>
        </dependency>

1、需要在MAVEN中添加以上依赖。因为只添加的flink依赖不包含HDFS的文件读写，再提交到Flink集群的时候能够读到HDFS的文件，使用为在Flink集群和HDFS整合之后会自动找到HDFS的依赖包。这个选项在flink-conf.yaml中的 fs.hdfs.hadoopconf: $HADOOP_HOME/etc/hadoop

标签：

相关文章