文件名称：BERT-GPU：在一台机器上从头开始为BERT进行多GPU培训，无需使用horovod
文件大小：63KB
文件格式：ZIP
更新时间：2024-02-24 12:19:21
nlp tensorflow bert NaturallanguageprocessingPython
一台机器上的BERT MULTI GPU，无水平 BERT：用于语言理解的深度双向变压器的预训练 需求 python 3 张量流1.14 训练 0，在create_pretraining_data.py和run_pretraining_gpu.py编辑输入和输出文件名 1，运行create_pretraining_data.py 2，运行run_pretraining_gpu.py 参数 编辑n_gpus在run_pretraining_gpu.py batch_size是每个GPU的batch_size，而不是global_batch_size 数据 在sample_text.txt
【文件预览】：
BERT-GPU-master
----vocab.py(481B)
----optimization_gpu.py(9KB)
----tmp_data()
--------sample.tfrecords(94KB)
----tokenization.py(12KB)
----bert_config.json(308B)
----create_pretraining_data.py(15KB)
----modeling.py(37KB)
----requirements.txt(110B)
----__init__.py(616B)
----CONTRIBUTING.md(1KB)
----sample_text.txt(4KB)
----LICENSE(11KB)
----README.md(844B)
----vocab.txt(3KB)
----run_pretraining_gpu.py(29KB)
----run_pretraining_gpu_v2.py(20KB)
----.gitignore(1KB)