-
这篇文章的主要内容是关于如何通过利用图像-文本辅助任务来提高社交媒体帖子的多模态分类效果。研究者们在多模态模型微调过程中联合使用了两种辅助损失：图像-文本对比（Image-Text Contrastive, ITC）和图像-文本匹配（Image-Text Matching, ITM）。ITC 旨在最小化帖子内部图像和文本表示之间的距离，从而有效地弥合图像在传达帖子意义中扮演重要角色时的鸿沟。ITM 则增强了模型理解图像和文本之间语义关系的能力，提高了处理模糊或关系不紧密模态的能力。
-
研究者们结合了五种多模态模型，并在五个不同的社交媒体数据集上进行了实验，展示了使用这两种辅助任务可以一致性地提高模型性能，最高可提升 2.6 的 F1 分数。文章还提供了详尽的分析，展示了在特定场景下每种辅助任务最有效。
-
此外，文章还介绍了实验设置、使用的数据集、单模态方法、多模态模型、评估方法和结果。研究者们使用了不同的预训练模型，包括 BERT、Bernice、ResNet152 和 ViT，并在不同的社交媒体任务上进行了实验，如文本-图像关系分类、情感分析、仇恨言论分类、讽刺检测和商业影响力内容检测等。
-
最后，文章讨论了研究的局限性，包括目前实验仅使用英文数据集，以及辅助任务的加入可能会增加训练时间。尽管如此，作者认为这些额外的时间与大型语言模型的预训练时间相比是相对较小的