simdcsv:CSV文件的快速SIMD解析器

时间:2024-06-03 22:55:28
【文件属性】:

文件名称:simdcsv:CSV文件的快速SIMD解析器

文件大小:333KB

文件格式:ZIP

更新时间:2024-06-03 22:55:28

C++

simdcsv 定义的用于CSV文件的快速SIMD解析器。 该项目将是用于CSV文件的快速SIMD解析器。 该方法在很多方面都非常类似于 。 我计划使用与该项目相同的技巧。 最初,许多技术将(遗憾地)从该项目中复制粘贴。 我希望以后再为这种代码排除一些通用功能。 实际解析CSV文件必须处理各种CSV外观变化(可选)。 我的计划是最初专注于符合标准的CSV文件,并可能在以后添加一些变体。 解析将如何进行的大致概述: 将CSV文件读入缓冲区-像往常一样,缓冲区将进行缓存行对齐并填充,以便即使在展开的循环中非常长的SIMD读取也可以安全地发生,而不必担心不安全的读取。 CSV字段的标识。 这个过程将大大简化,因为与simdjson不同,我们不必实现复杂的语法。 a)我们需要确定在哪里报价是第一-这保证了逃脱逗号和CR-LF对不被视为分隔符。 由于RFC 4180定义了我们的引用约定


【文件预览】:
simdcsv-master
----LICENSE(11KB)
----src()
--------csv_defs.h(66B)
--------portability.h(2KB)
--------common_defs.h(1KB)
--------timing.h(4KB)
--------io_util.cpp(1KB)
--------main.cpp(13KB)
--------io_util.h(1KB)
--------mem_util.h(800B)
----examples()
--------EDW.TEST_CAL_DT.csv(501KB)
--------nfl.csv(1.3MB)
----.gitignore(270B)
----CMakeLists.txt(2KB)
----README.md(4KB)

网友评论