文件名称：albert_zh：用于自我监督学习语言表示的精简BERT，海量中文预训练ALBERT模型
文件大小：969KB
文件格式：ZIP
更新时间：2024-02-27 00:43:50
tensorflow pytorch albert bert pre-trained
albert_zh 使用TensorFlow实现的实现 ALBert基于Bert，但有一些改进。 它以30％的参数减少，可在主要基准上达到最先进的性能。 对于albert_base_zh，它只有十个百分比参数与原始bert模型进行比较，并且保留了主要精度。 现在已经提供了针对中文的ALBERT预训练模型的不同版本，包括TensorFlow，PyTorch和Keras。 海量中文语料上预训练ALBERT模型：参数充分，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准 一键运行10个数据集，9个层次模型，不同任务上模型效果的详细对比，见 一键运行CLUE中
【文件预览】：
albert_zh-master
----optimization_finetuning.py(6KB)
----bert_utils.py(4KB)
----similarity.py(11KB)
----run_classifier_clue.sh(3KB)
----modeling_google_fast.py(46KB)
----albert_config()
--------albert_config_tiny_google.json(483B)
--------bert_config.json(518B)
--------albert_config_base_google_fast.json(484B)
--------albert_config_tiny.json(562B)
--------albert_config_tiny_google_fast.json(483B)
--------albert_config_xxlarge.json(564B)
--------albert_config_large.json(563B)
--------albert_config_small_google.json(482B)
--------vocab.txt(107KB)
--------albert_config_xlarge.json(563B)
--------albert_config_base.json(563B)
----tokenization.py(13KB)
----run_classifier.py(35KB)
----lamb_optimizer_google.py(5KB)
----run_pretraining.py(19KB)
----create_pretraining_data.py(43KB)
----modeling.py(49KB)
----run_classifier_clue.py(37KB)
----run_classifier_sp_google.py(38KB)
----tokenization_google.py(15KB)
----create_pretrain_data.sh(339B)
----optimization.py(12KB)
----create_pretraining_data_google.py(23KB)
----classifier_utils.py(30KB)
----optimization_google.py(7KB)
----README.md(28KB)
----modeling_google.py(42KB)
----args.py(929B)
----data()
--------news_zh_1.txt(32KB)
----resources()
--------albert_tiny_compare_s_old.jpg(47KB)
--------albert_tiny_compare_s.jpg(149KB)
--------albert_large_zh_parameters.jpg(211KB)
--------create_pretraining_data_roberta.py(26KB)
--------add_data_removing_dropout.jpg(96KB)
--------albert_configuration.jpg(90KB)
--------shell_scripts()
--------crmc2018_compare_s.jpg(62KB)
--------state_of_the_art.jpg(118KB)
--------xlarge_loss.jpg(81KB)
--------albert_performance.jpg(118KB)
----test_changes.py(3KB)
----run_pretraining_google_fast.py(21KB)
----run_pretraining_google.py(21KB)
----run_classifier_lcqmc.sh(2KB)