parler-data-tools

时间:2024-06-16 22:02:37
【文件属性】:

文件名称:parler-data-tools

文件大小:6KB

文件格式:ZIP

更新时间:2024-06-16 22:02:37

Python

Parler数据工具 这是python脚本和方法的集合,用于解析/处理/分析来自Parler Web scrape存档的大量WARC文件数据 依存关系 使用包管理器安装这些脚本所需的各种依赖项。 pip install hurry.filesize internetarchive bs4 warcat 用法 这些脚本大多数都不打算独立使用。 在大多数情况下,这是方法和代码片段的集合,可以将其添加到其他脚本中。 我们正在非常Swift地努力使这些东西对公众可用,但是还有很多工作要做。 除非您对Python编程语言和WARC文件格式有基本的了解,否则您目前不太可能使用这些工具。 我们已尝试确保将这些方法分解为可用的部分,以将其用在您可能要构建的任何工具中。 独立脚本 vidimg_extractor.py-使用此脚本从给定的Parler WARC存档中提取所有视频和图像文件,并将其存储


【文件预览】:
parler-data-tools-main
----archive_grabber.py(2KB)
----vidimg_extractor.py(3KB)
----warc_parser.py(5KB)
----README.md(2KB)

网友评论