: u‘: Wrong FS

时间:2025-02-18 10:22:57
问题

用pyspark写了程序,但是在跑的过程中报 : u': Wrong FS: hdfs://

现有代码的配置信息
spark = (spark_application_name). \
    config('', 500). \
    config('', '64g'). \
    config('', True). \
    config('', 'nonstrict'). \
    enableHiveSupport().getOrCreate()

是因为在执行过程中找不到hdfs的服务,所以需要在config中添加的信息

修改后代码
spark = (spark_application_name). \
    config('', 500). \
    config('', '64g'). \
    config('', True). \
    config('', 'nonstrict'). \
    config('', 'hdfs://namenode_hostname'). \
    enableHiveSupport().getOrCreate()