文件名称:aiowebhdfs:python中WebHDFS API的现代异步实现
文件大小:17KB
文件格式:ZIP
更新时间:2024-05-28 09:41:20
python rest hadoop async asyncio
aiowebhdfs 我知道,没有人再使用Hadoop ,但是对于那些使用Hadoop的人来说,这是一个使用httpx库和aiofiles处理来自HDFS的流数据的具有async功能的大型文件的Web请求库 特征 使用opnieuw库中的retry_async实现重试和超时窗口 通过aiofiles库实现流传输 通过httpx库httpx异步请求 对WebHDFS v3.2.1核心操作子集进行了全面测试 创建=写入文件 from aiowebhdfs import WebHdfsAsyncClient client = WebHdfsAsyncClient ( host = 'namenode.local' , port = 8443 , user = 'spark' , kerberos_token = token ) await client . create ( 'c: \\ te
【文件预览】:
aiowebhdfs-master
----setup.py(1KB)
----.gitignore(118B)
----LICENSE(34KB)
----README.md(4KB)
----tests()
--------test_all.py(2KB)
--------fixtures()
----aiowebhdfs()
--------__init__.py(6KB)