spark 1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别：
使用spark-shell进入spark shell 交互界面：
输入命令：
sc.textFile("\huawei\mr\20161120\880873\*.gz").foreach(println)
回车后是可以看到该目下很多个gz压缩包文件都被打印出来了。
参考文章：
http://blog.****.net/xuyaoqiaoyaoge/article/details/52943606
Spark:读取hdfs gz压缩包