Fairseq:用Python编写的Facebook AI Research Sequence-to-Sequence工具包-开源

【文件属性】：
文件名称：Fairseq:用Python编写的Facebook AI Research Sequence-to-Sequence工具包-开源
文件大小：3.32MB
文件格式：ZIP
更新时间：2021-05-15 11:29:05
开源软件 Fairseq（-py）是一个序列建模工具包，研究人员和开发人员可以使用它们来训练定制模型，以进行翻译，摘要，语言建模和其他文本生成任务。 我们提供各种序列建模论文的参考实现。 Microsoft和Google的最新工作表明，通过在数据并行工作人员之间共享模型参数和优化程序状态，可以大大提高数据并行培训的效率。 这些想法被封装在Fairscale提供的新的FullyShardedDataParallel（FSDP）包装器中。 可以通过用户提供的插件来扩展Fairseq。 模型定义了神经网络架构，并封装了所有可学习的参数。 准则根据给定的模型输出和目标来计算损失函数。 任务存储字典，并为数据集的加载/迭代，初始化模型/条件和计算损失提供帮助。