今天写spark程序的时候遇到了一个问题就是,读取文件的时候报了一个错:“Exception in thread "main" java.nio.charset.MalformedInputException: Input length = 1”
读取文件的代码如下:
一看这个这个错“nio”错误,第一感觉就是读文件方法这里出了问题,于是点击去看了一下Source.fromFile这个方法的源码:
果然,这个方法的重载有好几个,但是每一都直接或间接的需要指定读取文件的编码,就是说你需要以什么编码去读取你需要读取的文件,因为我的IDEA设置的编码时UTF-8
所以如果使用UTF-8读取GBK文件会出现问题,如果查看一个文本文件是什么编码的文件呢:
使用notepadd++打开该文件再右下角会看到对应的编码格式:
说明该文件时UTF-8编码的。
so
需要指定读取编码为GBK
或者
这两中方式都可以,都是从源码中得来的。
设置完成之后,重新运行程序,报错消失