文件名称:warc:WARC (Web ARChive) 读者、作家。 支持记录索引
文件大小:7KB
文件格式:ZIP
更新时间:2024-06-18 20:10:23
Go
战争 -- 导入“github.com/sebcat/warc” WARC 包支持记录时间压缩。 由于使用了 compress/gzip.Reader#Multistream,因此需要 go1.4 目前仅适用于记录时间压缩的 .gz 文件。 支持并发读取的索引操作。 一种用例是让一个 goroutine 将 Offset 传递给多个 goroutine 从中读取的通道。 每个 goroutine 都有自己的 WARC Reader,可以独立读取和解压缩记录。 用法 var ( ErrMalformedRecord = errors . New ( "malformed record" ) ErrNonWARCRecord = errors . New ( "non-WARC/1.0 record" ) ErrOffsetOverflow = errors . New (
【文件预览】:
warc-master
----LICENSE(1KB)
----warc_test.go(3KB)
----testdata()
--------.gitignore(15B)
----README.md(4KB)
----warc.go(9KB)