【文件属性】:
文件名称:sparkOptics:Spark DataFrame的光学元件
文件大小:19KB
文件格式:ZIP
更新时间:2021-05-07 11:45:59
scala spark optics dataframe dataframes
火花光学
使用光学组件修改spark-sql数据框中的复杂结构。
入门
是否需要在复杂的结构中设置内部元素?
import org . apache . spark . sql . DataFrame
import org . apache . spark . sql . functions . lit
val df : DataFrame = ???
import org . hablapps . sparkOptics . _
df.select( Lens ( " field.subfield " )(df.schema).set(lit( 13 )) : _ * )
要立即尝试,请单击活页夹图标,为交互式笔记本午餐。
正在安装
针对Spark 2.3的Scala 2.11和Spark 2.4的Scala 2.12进行编译。 在scala 2.11中用spark 2.3、2.4和
【文件预览】:
sparkOptics-master
----.travis.yml(666B)
----.github()
--------workflows()
----LICENSE(11KB)
----src()
--------test()
--------main()
----build.sbt(1KB)
----.gitignore(1KB)
----project()
--------plugins.sbt(113B)
--------build.properties(19B)
--------metals.sbt(161B)
--------project()
----README.md(5KB)