文件名称：bert_language_understanding：用于语言理解的深度双向变压器的预训练：TextCNN的预训练
文件大小：6.85MB
文件格式：ZIP
更新时间：2024-02-24 09:09:20
nlp text-classification question-answering document-classification transfer-learning
Google的bert提出的有关语言理解的想法：训练TextCNN 目录 1.引言 2.性能 3.用法 4.样本数据，数据格式 5.对用户的建议 6.BERT的简短描述 7.作者对BERT的详细描述 8，预训练语言理解任务 9，环境 10.实施细节 11，更好地理解变压器和BERT的问题 12，玩具任务 13.多标签分类任务 14.TODO列表 15，结论 16，参考文献 介绍 预训练就是您所需要的！ BERT最近在10多个nlp任务上取得了最新的技术成果。 这是用于语言理解的深度双向变压器预训练的张量流实现 （Bert）和Attention是您所需要的（变形金刚）。 更新：完成了这两篇论文的重复主要思想的大部分，明显地提高了性能 对于预训练模型和微调，可以从头开始训练模型。 试用前变体和微调 我们进行了实验，以将bert的主干网络从Transformer替换为TextCNN，结果是 使用大量原始数据使用掩盖的语言模型对模型进行预训练可以显着提高性能。 更普遍地说，我们认为训练前和微调策略与模型无关且与训练前任务无关。 话虽如此，您可以随意替换骨干网。 并添加更多的预训练任务
【文件预览】：
bert_language_understanding-master
----data_util_hdf5.py(22KB)
----train_bert_lm.py(9KB)
----README_bert.md(958B)
----model()
--------config.py(594B)
--------multi_head_attention.py(9KB)
--------__init__.py(0B)
--------bert_model.py(16KB)
--------base_model.py(4KB)
--------__pycache__()
--------encoder.py(7KB)
--------poistion_wise_feed_forward.py(5KB)
--------layer_norm_residual_conn.py(3KB)
--------bert_cnn_model.py(23KB)
--------config_transformer.py(532B)
--------transfomer_model.py(10KB)
----__init__.py(0B)
----train_transform.py(11KB)
----README.md(19KB)
----evaluation_matrix.py(10KB)
----data()
--------old()
--------img()
--------bert_valid.txt(423KB)
--------bert_test.txt(422KB)
--------bert_train.txt(3.1MB)
----run_classifier_predict_online.py(15KB)
----temp_covert.py(2KB)
----train_bert_fine_tuning.py(13KB)
----pretrain_task.py(15KB)