小样本目标检测
可能你要花几倍几十倍的时间去理解一个问题。理解了就好。不虚度就好。
生活中有太多的事情,需要花时间才能理解。
Motivation
训练:在base类大样本上训练模型,得到一个小样本检测模型;
测试:在novel类小样本上进行学习,识别测试图片上的novel类
Method
三个模块:
==Feature Extractor:==学习meta feature可以从base类泛化到novel类,单阶段检测结构
输入:query set图片;
输出:base feature
==Reweighting Module:==将support set中的N类样本映射到N个重加权向量,每个权重向量负责调整meta feature来检测对应类别。
【将这个思想用到fsl分类上,用attention机制来学习这个重加权向量】
注意:以5-way 1-shot为该模块的输入是5类的图片和对应的mask,一张图片上只有一个类别。
Prediction Layer: N类共享的分类器和框回归器
输入:reweighted feature。
输出:(o, x, y, h, w, c)——目标分数,框坐标及大小,类别分数。
最后,在分类分数上用softmax归一化得到最终的分类结果。
本文的训练测试方式是不是元学习的方式?meta-learner是什么,base-learner是什么?
Experiments
- 对比实验
- 性能分析
- 学习速度
- 重加权参数可视化
- 学到的meta feature
- 消融实验
- 重加权哪一层的特征?
- 损失函数用哪个?
- 重加权模块的输入应该是什么?