CRC的用途
CRC(Cyclic Redundancy Check)校验实用程序库在数据存储和数据通讯领域,为了保证数据的正确,就不得不采用检错的手段。在诸多检错手段中,CRC是最著名的一种。CRC的全称是循环冗余校验。
检错能力极强,开销小,易于用编码器及检测电路实现。从其检错能力来看,它所不能发现的错误的几率仅为0.0047%以下。从性能上和开销上考虑,均远远优于奇偶校验及算术和校验等方式。因而,在数据存储和数据通讯领域,CRC无处不在:著名的通讯协议X.25的FCS(帧检错序列)采用的是CRC-CCITT,ARJ、LHA等压缩工具软件采用的是CRC32,磁盘驱动器的读写采用了CRC16,通用的图像存储格式GIF、TIFF等也都用CRC作为检错手段。
CRC的算法原理
参考:https://www.cnblogs.com/masonzhang/p/10261855.html
关键词:异或,求模运算,
CRC的软硬件实现
有直接计算法和查表法:
直接CPU普通计算单元的方法:
查表法:
直接用CPU特殊指令的方法:
可选的现成方案
intel ISA-L open source https://github.com/intel/isa-l/tree/master/crc
spdk/dpdk 中的CRC 库 参考 https://blog.csdn.net/weixin_39822728/article/details/112527529
在DPDK中,ISA-L帮助DPDK构建了 Compression dev和 crypto dev,具体使用情况如下:
在Compression dev中
使用DEFLATE接口(包含在igzip中),来帮助PMD进行压缩/解压操作
CRC32,来帮助PMD进行数据完整性校验
在crypto dev中
AES,帮助PMD进行AES的加密/解密操作
HASH,帮助PMD对数据进行hash操作
而在SPDK中,ISA-L作为一个git submodule被包含了进去,在很多地方也有使用ISA-L,具体如下:
SPDK中提供了vbdev_crypto和vbdev_compress,这是借助于DPDK中Compression dev和crypto dev实现的,底层同样运行了ISA-L
ISA-L CRC的优势
为了体现其优势,这里用Alder32 和 ISA-L CRC 函数性能进行了比较。两者的性能对比如下: