spparser:用Python编写的异步ETL工具

时间:2024-03-28 17:50:56
【文件属性】:

文件名称:spparser:用Python编写的异步ETL工具

文件大小:50KB

文件格式:ZIP

更新时间:2024-03-28 17:50:56

mysql csv mongodb extractor python3

介绍 spparser的目标是提供一种简洁有效的方式来读取,写入和处理文本数据。 同时,它支持同步和异步文件读写,并支持常规,xpath,css选择器提取数据。 将来,将实现对数据库的读写支持,并将引入NLP以提供更灵活的处理方法。 架构图如下: AsyncReader和AsyncWriter的灵感来自@zpoint的 安装 pip3 install spparser 快速开始 from spparser import Reader , Writer , Extractor def main (): data = Reader . read_csv ( file_path = "./example.csv" , each_line_type = "dict" , max_read_lines = 10 ) ''' example.csv: field1,


【文件预览】:
spparser-master
----test.py(328B)
----result.json(26B)
----__init__.py(0B)
----README_CN.md(5KB)
----LICENSE(34KB)
----spparser()
--------utils()
--------AsyncReader.py(11KB)
--------Writer.py(2KB)
--------Parser.py(34B)
--------regex()
--------json()
--------__init__.py(220B)
--------Extractor.py(1KB)
--------AsyncWriter.py(10KB)
--------csv()
--------AsyncTransformer.py(0B)
--------__pycache__()
--------css()
--------Reader.py(3KB)
--------xpath()
----README.md(5KB)
----example.txt(24KB)
----test_md.py(764B)
----text.csv(0B)

网友评论