pgzip:进行并行gzip(de)压缩

时间:2024-05-29 21:40:21
【文件属性】:

文件名称:pgzip:进行并行gzip(de)压缩

文件大小:124KB

文件格式:ZIP

更新时间:2024-05-29 21:40:21

Go

pgzip 进行并行gzip压缩/解压缩。 这是与gzip完全兼容的替代品,替代了“ compress / gzip”。 这会将压缩分为并行压缩的块。 这对于压缩大量数据很有用。 输出是标准的gzip文件。 修改了gzip解压缩,以便在当前阅读器之前进行解压缩。 这意味着,如果解压缩器可以使您的代码领先于读取,则读取将是非阻塞的。 CRC计算也可以在单独的goroutine中进行。 仅在(解压缩)大量数据(例如说超过1MB )时才应使用此方法,否则您将看不到任何好处,并且使用内部gzip库或可能会更快。 重要的是要注意,该库创建并读取标准的gzip文件。 您不必匹配压缩器/解压缩器即可获得上述加速器,并且gzip文件与其他gzip读取器/写入器完全兼容。 这个的golang变体是 ,它具有相同的功能,并且可以在生成的文件中查找。 唯一的缺点是与此版本和纯gzip相比,开销稍大。


【文件预览】:
pgzip-master
----.gitignore(266B)
----gzip_test.go(14KB)
----gunzip_test.go(21KB)
----.travis.yml(317B)
----gzip.go(13KB)
----LICENSE(1KB)
----testdata()
--------issue6550.gz(64KB)
--------test.json(146KB)
--------bigempty.gz(96KB)
----GO_LICENSE(1KB)
----gzip_norace_test.go(2KB)
----README.md(7KB)
----gunzip.go(13KB)
----gzip_unreliable_test.go(1KB)

网友评论