文件名称:计算引擎:用于二值神经网络的高度优化的推理引擎
文件大小:225KB
文件格式:ZIP
更新时间:2024-02-26 10:10:16
android raspberry-pi tensorflow keras inference
Larq计算引擎 Larq Compute Engine(LCE)是高度优化的推理引擎,用于部署高度量化的神经网络,例如Binarized Neural Networks(BNN)。 它目前支持各种移动平台,并已在Pixel 1手机和Raspberry Pi上进行了基准测试。 LCE为支持的指令集提供了手动优化的自定义运算符的集合,这些指令集是内联汇编或使用编译器内在函数以C ++开发的。 LCE利用优化技术,例如平铺以最大化缓存命中次数,矢量化以最大化计算吞吐量,以及多线程并行化以利用多核现代台式机和移动CPU。 Larq Compute Engine是用于BNN开发的一系列库的一部分;