sparkOptics:Spark DataFrame的光学元件

时间:2024-05-27 05:32:39
【文件属性】:

文件名称:sparkOptics:Spark DataFrame的光学元件

文件大小:19KB

文件格式:ZIP

更新时间:2024-05-27 05:32:39

scala spark optics dataframe dataframes

火花光学 使用光学组件修改spark-sql数据框中的复杂结构。 入门 是否需要在复杂的结构中设置内部元素? import org . apache . spark . sql . DataFrame import org . apache . spark . sql . functions . lit val df : DataFrame = ??? import org . hablapps . sparkOptics . _ df.select( Lens ( " field.subfield " )(df.schema).set(lit( 13 )) : _ * ) 要立即尝试,请单击活页夹图标,为交互式笔记本午餐。 正在安装 针对Spark 2.3的Scala 2.11和Spark 2.4的Scala 2.12进行编译。 在scala 2.11中用spark 2.3、2.4和


【文件预览】:
sparkOptics-master
----.travis.yml(666B)
----.github()
--------workflows()
----LICENSE(11KB)
----src()
--------test()
--------main()
----build.sbt(1KB)
----.gitignore(1KB)
----project()
--------plugins.sbt(113B)
--------build.properties(19B)
--------metals.sbt(161B)
--------project()
----README.md(5KB)

网友评论