Spark DataFrame join后移除重复的列

时间:2021-11-05 17:49:14

在Spark,两个DataFrame做join操作后,会出现重复的列。有两种方法可以用来移除重复的列。

方法一:join表达式使用字符串数组(用于join的列)

df1.join(df2, Seq("id","name"),"left")

这里DataFrame df1和df2使用了id和name两列来做join,返回的结果会对这两列去重。

join的第三个参数为join的类型:left,right,inner,fullouter。

方法二:使用select返回指定的列

DataFrame.join操作类似于SQL语句,可以使用select指定返回的列:

val dfa  = Seq(("a", 1), ("b", 2)).toDF("key", "vala")
val dfb  = Seq(("a", 1)).toDF("key", "valb")
dfa.join(dfb, dfa("key") === dfb("key")).select(dfa("id"), dfb("valb")")