京东科技隐私计算产品部 曹雨晨
为什么从源代码构建
通常情况下,直接安装构建好的.whl即可。不过,当需要一些特殊配置(或者闲来无事想体会 TensorFlow 构建过程到底有多麻烦)的时候,则需要选择从源代码构建TensorFlow。万幸文档混乱的 TensorFlow 还是好心地为我们提供了一整页的文档供参考 <https://www.tensorflow.org/install/source?hl=zh-cn> ,个人认为其中最需要关注的部分莫过于经过测试供参考的源配置(列于文末)。TF使用 Google 的开源构建工具 bazel 构建,并且源码的版本与 bazel 的版本高度相关,所以尽量匹配版本进行构建。
流程记录 TF v1.14.0 CPU on Ubuntu 18.04
安装对应版本的 bazel
根据计划构建的版本,查阅文末的对应配置,参考官方文档: <https://bazel.build/install/ubuntu> 安装相应版本的 bazel,如本次计划构建的版本是 v1.14.0,对应的 bazel 版本是 0.24.1(此次使用0.26.1也是可以的)。
为方便,这里直接贴出对应 0.26.1 release 的页面: <https://github.com/bazelbuild/bazel/releases?expanded=true&page=2&q=0.26.1> ,点击assets找到对应的文件下载即可。
克隆 TensorFlow 仓库
从 Github 上 clone
源码仓库
cd
到仓库目录并 git checkout
到相应 tag,比如这次是构建 v1.14.0 版本:
* 一些小调整,通常可以略过
Build with C++17
因为之后需要写的 Custom OP 依赖的另一个库是 C++17,而除了刚刚才发布的 v2.10 版,以前的 TF默认是使用 C++11,实际构建的时候,代码有一些 minor fix。此处参考 <https://github.com/tensorflow/tensorflow/pull/30836/files> 修改 .bazelrc
里 build:c++17
的配置,在 tensorflow/core/lib/gif/gif_io.cc
中添加 #include<cstring>
, 并在 tensorflow/stream_executor/stream_executor_pimpl.h
中添加 #include "absl/memory/memory.h"
(否则 compile 时会报错找不到 absl::make_unique
)(这里 make_unique 是 C++17 标准库里的用法,Google的abseil的make_unique方法则方便C++11的代码也可以使用它;最新的v2.10版由于默认使用C++17,已经改为std::make_unique)
.bazelrc
文件里记录了构建时各种配置选项 ([--config=option]
)的映射规则,如有需要可以进行修改。由于 GCC 不支持--stdlib
命令,此次修改如下:
网络不通
Bazel 在构建过程中,需要现拉取远程仓库的许多依赖。由于 TF 的构建过程消耗内存很严重,选择在服务器上进行构建,而服务器远程拉取 github 上仓库经常失败。所以需要手动在网络良好的机器上下载相应的库的 release (对应的版本在 WORKSPACE
文件中可以找到一行注释),存放在服务器本地,并在 WORKSPACE 文件中对应的 http_archive
部分添加一行本地地址。若需要换版本,也可以在相应github库的releases下面找到对应的 URL 及 sha256(实在是找不到对应的也可以手动下载压缩包后通过 shasum256
命令获取)
例如:
配置 build
运行源码根目录下的 ./configure 进行配置。
此次编译一个尽量简略的 CPU 版本,会话如下:
构建 pip 软件包并安装
官方提供的命令:
本次使用:
其中使用的 --config=c++17 --config=c++1z
对应刚刚修改的 .bazelrc 文件中相应的部分
注意:bazel build
的过程时间会比较长,对内存的消耗较大,jobs 数谨慎开大。
bazel build
结束后,一个名为 build_pip_package
的可执行文件就创建好了,接下来可以执行:
如果希望构建的whl
名为 tf-nightly
版本,则可以加上 --nightly_flag
的选项。
此后便获得了 .whl
文件,通过 pip 安装即可:
其中,version
是对应的版本,tags
与系统有关。
经过测试的源配置
Linux
CPU
版本 |
Python 版本 |
编译器 |
构建工具 |
tensorflow-2.6.0 |
3.6-3.9 |
GCC 7.3.1 |
Bazel 3.7.2 |
tensorflow-2.5.0 |
3.6-3.9 |
GCC 7.3.1 |
Bazel 3.7.2 |
tensorflow-2.4.0 |
3.6-3.8 |
GCC 7.3.1 |
Bazel 3.1.0 |
tensorflow-2.3.0 |
3.5-3.8 |
GCC 7.3.1 |
Bazel 3.1.0 |
tensorflow-2.2.0 |
3.5-3.8 |
GCC 7.3.1 |
Bazel 2.0.0 |
tensorflow-2.1.0 |
2.7、3.5-3.7 |
GCC 7.3.1 |
Bazel 0.27.1 |
tensorflow-2.0.0 |
2.7、3.3-3.7 |
GCC 7.3.1 |
Bazel 0.26.1 |
tensorflow-1.15.0 |
2.7、3.3-3.7 |
GCC 7.3.1 |
Bazel 0.26.1 |
tensorflow-1.14.0 |
2.7、3.3-3.7 |
GCC 4.8 |
Bazel 0.24.1 |
tensorflow-1.13.1 |
2.7、3.3-3.7 |
GCC 4.8 |
Bazel 0.19.2 |
tensorflow-1.12.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.15.0 |
tensorflow-1.11.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.15.0 |
tensorflow-1.10.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.15.0 |
tensorflow-1.9.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.11.0 |
tensorflow-1.8.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.10.0 |
tensorflow-1.7.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.10.0 |
tensorflow-1.6.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.9.0 |
tensorflow-1.5.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.8.0 |
tensorflow-1.4.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.5.4 |
tensorflow-1.3.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.4.5 |
tensorflow-1.2.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.4.5 |
tensorflow-1.1.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.4.2 |
tensorflow-1.0.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.4.2 |
GPU
版本 |
Python 版本 |
编译器 |
构建工具 |
cuDNN |
CUDA |
tensorflow-2.6.0 |
3.6-3.9 |
GCC 7.3.1 |
Bazel 3.7.2 |
8.1 |
11.2 |
tensorflow-2.5.0 |
3.6-3.9 |
GCC 7.3.1 |
Bazel 3.7.2 |
8.1 |
11.2 |
tensorflow-2.4.0 |
3.6-3.8 |
GCC 7.3.1 |
Bazel 3.1.0 |
8.0 |
11.0 |
tensorflow-2.3.0 |
3.5-3.8 |
GCC 7.3.1 |
Bazel 3.1.0 |
7.6 |
10.1 |
tensorflow-2.2.0 |
3.5-3.8 |
GCC 7.3.1 |
Bazel 2.0.0 |
7.6 |
10.1 |
tensorflow-2.1.0 |
2.7、3.5-3.7 |
GCC 7.3.1 |
Bazel 0.27.1 |
7.6 |
10.1 |
tensorflow-2.0.0 |
2.7、3.3-3.7 |
GCC 7.3.1 |
Bazel 0.26.1 |
7.4 |
10.0 |
tensorflow_gpu-1.15.0 |
2.7、3.3-3.7 |
GCC 7.3.1 |
Bazel 0.26.1 |
7.4 |
10.0 |
tensorflow_gpu-1.14.0 |
2.7、3.3-3.7 |
GCC 4.8 |
Bazel 0.24.1 |
7.4 |
10.0 |
tensorflow_gpu-1.13.1 |
2.7、3.3-3.7 |
GCC 4.8 |
Bazel 0.19.2 |
7.4 |
10.0 |
tensorflow_gpu-1.12.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.15.0 |
7 |
9 |
tensorflow_gpu-1.11.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.15.0 |
7 |
9 |
tensorflow_gpu-1.10.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.15.0 |
7 |
9 |
tensorflow_gpu-1.9.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.11.0 |
7 |
9 |
tensorflow_gpu-1.8.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.10.0 |
7 |
9 |
tensorflow_gpu-1.7.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.9.0 |
7 |
9 |
tensorflow_gpu-1.6.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.9.0 |
7 |
9 |
tensorflow_gpu-1.5.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.8.0 |
7 |
9 |
tensorflow_gpu-1.4.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.5.4 |
6 |
8 |
tensorflow_gpu-1.3.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.4.5 |
6 |
8 |
tensorflow_gpu-1.2.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.4.5 |
5.1 |
8 |
tensorflow_gpu-1.1.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.4.2 |
5.1 |
8 |
tensorflow_gpu-1.0.0 |
2.7、3.3-3.6 |
GCC 4.8 |
Bazel 0.4.2 |
5.1 |
8 |
macOS
CPU
版本 |
Python 版本 |
编译器 |
构建工具 |
tensorflow-2.6.0 |
3.6-3.9 |
Xcode 10.11 中的 Clang |
Bazel 3.7.2 |
tensorflow-2.5.0 |
3.6-3.9 |
Xcode 10.11 中的 Clang |
Bazel 3.7.2 |
tensorflow-2.4.0 |
3.6-3.8 |
Xcode 10.3 中的 Clang |
Bazel 3.1.0 |
tensorflow-2.3.0 |
3.5-3.8 |
Xcode 10.1 中的 Clang |
Bazel 3.1.0 |
tensorflow-2.2.0 |
3.5-3.8 |
Xcode 10.1 中的 Clang |
Bazel 2.0.0 |
tensorflow-2.1.0 |
2.7、3.5-3.7 |
Xcode 10.1 中的 Clang |
Bazel 0.27.1 |
tensorflow-2.0.0 |
2.7、3.5-3.7 |
Xcode 10.1 中的 Clang |
Bazel 0.27.1 |
tensorflow-2.0.0 |
2.7、3.3-3.7 |
Xcode 10.1 中的 Clang |
Bazel 0.26.1 |
tensorflow-1.15.0 |
2.7、3.3-3.7 |
Xcode 10.1 中的 Clang |
Bazel 0.26.1 |
tensorflow-1.14.0 |
2.7、3.3-3.7 |
Xcode 中的 Clang |
Bazel 0.24.1 |
tensorflow-1.13.1 |
2.7、3.3-3.7 |
Xcode 中的 Clang |
Bazel 0.19.2 |
tensorflow-1.12.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.15.0 |
tensorflow-1.11.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.15.0 |
tensorflow-1.10.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.15.0 |
tensorflow-1.9.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.11.0 |
tensorflow-1.8.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.10.1 |
tensorflow-1.7.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.10.1 |
tensorflow-1.6.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.8.1 |
tensorflow-1.5.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.8.1 |
tensorflow-1.4.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.5.4 |
tensorflow-1.3.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.4.5 |
tensorflow-1.2.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.4.5 |
tensorflow-1.1.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.4.2 |
tensorflow-1.0.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.4.2 |
GPU
版本 |
Python 版本 |
编译器 |
构建工具 |
cuDNN |
CUDA |
tensorflow_gpu-1.1.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.4.2 |
5.1 |
8 |
tensorflow_gpu-1.0.0 |
2.7、3.3-3.6 |
Xcode 中的 Clang |
Bazel 0.4.2 |
5.1 |
8 |