Intel_AV-ICE06加速卡+QAT_Engine测试

时间：2021-03-09 04:25:56

Intel AV-ICE06加速卡测试报告

Intel RSA加速卡结合Intel其QAT_Engine测试性能的提升，其支持的异步模式对性能的提升很大。

注意QAT_Engine只支持openssl1.1.0以上

1 测试环境

硬件：H61

系统：2.6.32-64bits+gcc4.4.5

openssl：公版openssl1.1.1a

加速卡：Intel AV-ICE06（C62X系列）

2 准备工作

2.1 下载驱动及相关手册

Intel_AV-ICE06加速卡+QAT_Engine测试

2.2 下载QAT引擎

git clone https://github.com/01org/QAT_Engine.git

2.3 下载OpenSSL-1.1.1a

2.4 确保已安装这些软件包

apt-get update

apt-get install pciutils-dev

apt-get install g++

apt-get install pkg-config

apt-get install libssl-dev

3 编译gcc4.4.7(此步可以跳过，直接修改configure中gcc版本依赖为>=4.4.5)

3.1下载源码(要求gcc>=4.4.7)

3.2 安装gmp-4.3.2

tar jxvf gmp-4.3.2.tar.bz2

cd gmp-4.3.2

mkdir build && cd build

../configure --prefix=/usr/local/gmp-4.3.2

make

make install

3.3 安装mpfr-3.1.4

tar -jzvf mpfr-3.1.4.tar.bz2

cd mpfr-3.1.4

mkdir build && cd build

../configure --prefix=/usr/local/mpfr-3.1.4 --with-gmp=/usr/local/gmp-4.3.2

make

make install

3.4 安装mpc-1.0.3

tar -zxvf mpc-1.0.3.tar.gz

mkdir build && cd build

../configure --prefix=/usr/local/mpc-1.0.3 --with-gmp=/usr/local/gmp-4.3.2 --with-mpfr=/usr/local/mpfr-3.1.4

make

make install

3.5 安装gcc-4.4.7

tar -zxvf gcc-4.4.7.tar.gz

cd gcc-4.4.7

mkdir build && cd build

../configure --prefix=/usr/local/gcc-4.4.7 -enable-threads=posix -disable-checking -disable-multilib -enable-languages=c,c++ --with-gmp=/usr/local/gmp-4.3.2 --with-mpfr=/usr/local/mpfr-3.1.4 --with-mpc=/usr/local/mpc-1.0.3

make

make install

4 intel加速卡驱动编译

4.1 编译驱动

mkdir QAT && cd QAT

tar -zxvf qat1.7.l.4.4.0-00023.tar.gz

./configure

make qat-driver-install

4.2 驱动编译过程碰到的问题

问题1：pci_pcie_cap函数重定义

解决方法：

删除 /home/ssl/QAT/quickassist/qat/compat/qat_compat.h第107开始的pci_pcie_cap函数

问题2：内核不存在usleep_range函数定义

解决方法：

../quickassist/qat/drivers/crypto/qat/qat_common/adf_clock.c:152

../quickassist/qat/drivers/crypto/qat/qat_common/adf_pf2vf_msg.c:165

../quickassist/qat/drivers/crypto/qat/qat_common/adf_admin.c:166

以上3处替换为udelay函数

问题3：内核不支持使用MD5进行预计算

没有/usr/src/linux-headers-2.6.32-5-amd64-hz1000/include/crypto/md5.h文件

解决方法：

将 /home/ssl/QAT/quickassist/utilities/osal/src/linux/kernel_space/OsalCryptoInterface.c 88行if内的部分注释掉，改成跟else一样。

或者直接将内核版本判断改成2.6.33，其余几个地方也是一样

4.3 拷贝整个QAT目录及驱动至产品机

  1. 将QAT整个目录拷贝至产品机
  2. 将/lib/modules/2.6.32-5-amd64-hz1000/updates/整个目录下和/lib/modules/2.6.32-5-amd64-hz1000/kernel/drivers/下的qat_api.ko和usdm_drv.ko拷贝至产品机对应目录下

4.4 intel_qat依赖uio.ko，需要从开发机中拷过去

驱动位于/lib/modules/2.6.32-5-amd64-hz1000/kernel/drivers/uio

4.5 产品机上操作，进行剩余的安装，启动加速服务

cd QAT

make adf-ctl-install

make qat-service-install

4.6 如果纯手动操作，在编译完成之后需要

  • 将动态库拷到/lib下
  • 将adf_ctl拷到$ICP_ROOT/build和/usr/sbin
  • 将配置文件拷贝/etc下
  • 将firmware文件拷到/lib/firmware
  • 将模块拷到内核源目录下，供qat_service加载
  • 启动qat_service，加载合适的模块，并且运行adf_ctl打开设备
  • 将qat_service加入启动脚本中

5 加速服务控制命令

service qat_service start

service qat_service stop //停止软件

service qat_service shutdown //停止软件并移除驱动

或者

/etc/init.d/qat_service start

/etc/init.d/qat_service stop //停止软件

/etc/init.d/qat_service shutdown //停止软件并移除驱动

6 安装sample应用（本部分不是必须）

  • 编译安装

在QAT目录下， make samples-install

  • 编译问题

6系列内核kernel_write函数是静态的，sample驱动中用到会找不到。直接注释掉即可，内核态测试才需要用到

cp /home/ssl/QAT/quickassist/lookaside/access_layer/src/sample_code/performance/compression/calgary /lib/firmware

cp /home/ssl/QAT/quickassist/lookaside/access_layer/src/sample_code/performance/compression/calgary32 /lib/firmware

cp /home/ssl/QAT/quickassist/lookaside/access_layer/src/sample_code/performance/compression/canterbury /lib/firmware

cp /home/ssl/QAT/build/cpa_sample_code /usr/local/bin/cpa_sample_code

cp /home/ssl/QAT/build/cpa_sample_code.ko /usr/local/bin/cpa_sample_code.ko
  • 测试
在用户态，启动cpa_sample_code之前，确保LD_LIBRARY_PATH设置了libqat_s.so所在的路径

在执行sample代码前，必须已加载驱动且软件已经启动。可以用一下命令确认

lsmod | grep "qa"

service qat_service status

用户态下，执行sample代码：./cpa_sample_code

内核态下，执行sample代码： insmod ./cpa_sample_code.ko

7 编译OpenSSL-1.1.1a

./config --prefix=/usr/local/ssl -Wl,-rpath,\${LIBRPATH}

make depend (if recommended by the OpenSSL\* build system)

make

make install

export OPENSSL_ENGINES=/usr/local/ssl/lib/engines-1.1

8 QAT引擎编译

8.1 编译命令

要带Upstream QAT driver并且使用USDM组件

cd /QAT_Engine

./autogen.sh

./configure \

--with-qat_dir=/home/ssl/QAT \

--with-openssl_dir=/home/ssl/openssl-OpenSSL_1_1_1a \

--with-openssl_install_dir=/usr/local/ssl \

--enable-upstream_driver \

--enable-usdm

make

make install

8.2 碰到的问题

错误1：autoconf版本不够

解决：autoconf要求2.68以上，修改/QAT_Engine/ .tools/configure.ac第4行

错误2：configdata.pm not present in the @INC path

解决：export PERL5LIB=$PERL5LIB:/home/ssl/openssl-OpenSSL_1_1_1a

错误3：gcc未知的选项-fstack-protector-strong

解决：gcc4.9开始才支持此选项，可以改成-fstack-protector-all或者-fstack-protector

8.3 引擎测试

根据实际情况选择/QAT_Engine/qat/config/c6xx下配置拷贝到/etc

重启加速驱动

./openssl engine -t -c -vvvv qat #会打出qat引擎的相关信息

9 openssl speed测试命令

  • RSA2048
  # Software 纯软

  ./openssl speed -elapsed rsa2048

  # Synchronous 同步

  ./openssl speed -engine qat -elapsed rsa2048

  # Asynchronous1 异步

  ./openssl speed -engine qat -elapsed -async_jobs 36 rsa2048

    # Asynchronous2 异步

  ./openssl speed -engine qat -elapsed -async_jobs 72 rsa2048
  • ECDSA-P256
  # Software 纯软

  ./openssl speed -elapsed ecdsap256

  # Synchronous 同步

  ./openssl speed -engine qat -elapsed ecdsap256

  # Asynchronous1 异步1

  ./openssl speed -engine qat -elapsed -async_jobs 36 ecdsap256

    # Asynchronous2 异步2

  ./openssl speed -engine qat -elapsed -async_jobs 72 ecdsap256
  • ECDH-P256
  # Software 纯软

  ./openssl speed -elapsed ecdhp256

  # Synchronous 同步

  ./openssl speed -engine qat -elapsed ecdhp256

  # Asynchronous1 异步1

  ./openssl speed -engine qat -elapsed -async_jobs 36 ecdpp256

    # Asynchronous2 异步2

  ./openssl speed -engine qat -elapsed -async_jobs 72 ecdpp256

10 测试结果

Intel_AV-ICE06加速卡+QAT_Engine测试

相关文章