文件名称：Python-大规模transformer语言模型包括BERT
文件大小：85KB
文件格式：ZIP
更新时间：2022-08-29 23:36:09
Python开发-自然语言处理
Ongoing research training transformer language models at scale, including: BERT
【文件预览】：
NVIDIA-Megatron-LM-fb4cbdc
----optim()
--------__init__.py(962B)
--------adam.py(5KB)
----pretrain_bert.py(17KB)
----arguments.py(13KB)
----fp16()
--------loss_scaler.py(9KB)
--------fp16util.py(7KB)
--------__init__.py(941B)
--------fp16.py(31KB)
----model()
--------distributed.py(5KB)
--------modeling.py(62KB)
--------model.py(4KB)
--------__init__.py(674B)
----scripts()
--------pretrain_bert_tfrecords_distributed.sh(1KB)
--------pretrain_bert_sentencepiece.sh(864B)
--------pretrain_bert_distributed.sh(1KB)
--------pretrain_bert.sh(868B)
----utils.py(6KB)
----configure_data.py(8KB)
----requirements.txt(79B)
----learning_rates.py(3KB)
----LICENSE(11KB)
----README.md(5KB)
----data_utils()
--------file_utils.py(8KB)
--------samplers.py(3KB)
--------tokenization.py(32KB)
--------datasets.py(25KB)
--------__init__.py(5KB)
--------lazy_loader.py(7KB)
--------tf_dl.py(4KB)
--------wordpiece.py(15KB)
--------corpora.py(1KB)