CRC 基础介绍

时间:2021-04-03 00:42:33

CRC的用途

CRC(Cyclic Redundancy Check)校验实用程序库在数据存储和数据通讯领域,为了保证数据的正确,就不得不采用检错的手段。在诸多检错手段中,CRC是最著名的一种。CRC的全称是循环冗余校验。

检错能力极强,开销小,易于用编码器及检测电路实现。从其检错能力来看,它所不能发现的错误的几率仅为0.0047%以下。从性能上和开销上考虑,均远远优于奇偶校验及算术和校验等方式。因而,在数据存储和数据通讯领域,CRC无处不在:著名的通讯协议X.25的FCS(帧检错序列)采用的是CRC-CCITT,ARJ、LHA等压缩工具软件采用的是CRC32,磁盘驱动器的读写采用了CRC16,通用的图像存储格式GIF、TIFF等也都用CRC作为检错手段。

CRC的算法原理

参考:https://www.cnblogs.com/masonzhang/p/10261855.html

关键词:异或,求模运算, CRC 基础介绍

CRC的软硬件实现

有直接计算法和查表法:

直接CPU普通计算单元的方法:

查表法:

直接用CPU特殊指令的方法:

可选的现成方案

intel ISA-L open source https://github.com/intel/isa-l/tree/master/crc

spdk/dpdk 中的CRC 库 参考 https://blog.csdn.net/weixin_39822728/article/details/112527529

在DPDK中,ISA-L帮助DPDK构建了 Compression dev和 crypto dev,具体使用情况如下:

在Compression dev中

使用DEFLATE接口(包含在igzip中),来帮助PMD进行压缩/解压操作

CRC32,来帮助PMD进行数据完整性校验

在crypto dev中

AES,帮助PMD进行AES的加密/解密操作

HASH,帮助PMD对数据进行hash操作

而在SPDK中,ISA-L作为一个git submodule被包含了进去,在很多地方也有使用ISA-L,具体如下:

SPDK中提供了vbdev_crypto和vbdev_compress,这是借助于DPDK中Compression dev和crypto dev实现的,底层同样运行了ISA-L

ISA-L CRC的优势

为了体现其优势,这里用Alder32 和 ISA-L CRC 函数性能进行了比较。两者的性能对比如下:

CRC 基础介绍