datastreams:高效,简洁的流数据处理

时间:2024-06-09 03:49:51
【文件属性】:

文件名称:datastreams:高效,简洁的流数据处理

文件大小:1.96MB

文件格式:ZIP

更新时间:2024-06-09 03:49:51

Python

Python数据流 流媒体库,使您的数据处理美观而简洁。 >> > from datastreams import DataStream >> > DataStream ( "Hello, gorgeous." )\ ... . filter ( str . isalpha )\ ... . map_method ( 'lower' )\ ... . count_frequency (). to_list () [( 'e' , 2 ), ( 'g' , 2 ), ( 'h' , 1 ), ( 'l' , 2 ), ( 'o' , 3 ), ( 's' , 1 ), ( 'r' , 1 ), ( 'u' , 1 )] 为什么 忙于ETL /功能工程任务时,此库的灵感来自。 要处理的数据很大,并且需要大量清理/强制操作,并且使其可靠且高性能通常意味着牺牲代码的清


【文件预览】:
datastreams-master
----LICENSE.txt(1KB)
----datastreams()
--------datastreams.py(33KB)
--------processstreams.py(22B)
--------__init__.py(200B)
--------rddstreams.py(4KB)
--------dictstreams.py(1KB)
----examples()
--------shake_count_spark.py(811B)
--------shakespeare_complete.txt(5.21MB)
--------spd_example.ipynb(9KB)
--------rsvp_steam_test.py(841B)
--------shake_count.py(605B)
----.travis.yml(100B)
----test()
--------stdinout_test.py(111B)
--------test_datastreams.py(15KB)
--------__init__.py(22B)
--------test_set_1.csv(64B)
--------test_set_2.csv(66B)
----setup.cfg(40B)
----setup.py(526B)
----README.md(3KB)
----docs()
--------source()
--------make.bat(7KB)
--------Makefile(7KB)
----.gitignore(757B)

网友评论