parquet-haskell:Haskell 的 WIP Parquet 解析库

时间:2024-06-22 22:30:48
【文件属性】:

文件名称:parquet-haskell:Haskell 的 WIP Parquet 解析库

文件大小:8.19MB

文件格式:ZIP

更新时间:2024-06-22 22:30:48

Haskell

Haskell 的镶木地板 WIP 尝试为 Parquet 编写解析器。 注意。 这是一个副项目,仍然非常粗糙(并反映了开发的探索性风格)。 要运行 - 将customer.impala.parquet文件复制到dist/build/parquet目录,然后使用cabal run 。 现在它会吐出一堆读取的元数据。 去做 正确处理错误(与强制类型等相反)。 实现常见编码格式(例如RLE和BitPacking )的解析器,以便我们可以解码重复和定义级别。 切换到比Handle更好的数据类型(基本上我们需要随机 IO)。 Handle目前有一些问题(例如,除非您使用 bang 强制解析 - 它可以在您已经移动指针导致异常后尝试解决它: parquet: thread blocked indefinitely in an MVar operation )。 写一个更完整的 TODO


【文件预览】:
parquet-haskell-master
----src()
--------Main.hs(5KB)
--------Data()
----Setup.hs(46B)
----.gitignore(139B)
----parquet.cabal(1KB)
----customer.impala.parquet(24.37MB)
----README.md(952B)

网友评论