文件名称:cs2770-project-e2e:CS2770项目的端到端模型
文件大小:449.95MB
文件格式:ZIP
更新时间:2024-05-06 19:18:43
Python
CS2770项目端到端模型 这段代码基于 描述 此代码为视觉问题生成(VQG)训练,验证和测试端到端模型。 关于该项目,最后的工作有待完成。 如果有时间,我们可能还会做其他工作,但这是最低要求: 将可解释的CNN集成到编码器中。 由于可解释的CNN是一次可处理一个类别的分类CNN,因此我们的项目报告建议,我们实际上将制作五个CNN,分别针对COCO数据集中前五个类别中的每个CNN,然后将其输出编码合并为一个最小化的向量。 可能还需要简化可解释的CNN的体系结构,因为我们将在每次训练中训练其中的五个。 实施注意机制以在编码器和解码器之间移动 实现使可视化CNN中间层可视化的代码,以便我们可以将其作为结果的一部分进行分析。 我认为我们只是随机抽取测试集的一部分进行可视化。 训练,验证和测试VQA和VQG数据集的模型版本 为4/22创建幻灯片演示文稿 数据 文件data/data_fil