本篇是迁移学习专栏介绍的第十篇论文，也算是本专栏专门讲Domain Adaptation的第一篇论文。这篇文章是接受于ICCV 2017，文章的setting是特别新颖的，获得了ICCV Marr Prize 提名。所以很值得一看。
Abstract
当训练和测试数据属于不同的领域时，对象分类器的精度会显著降低。因此，为了减少数据集之间的域转移，近年来提出了几种算法。然而，所有可用的域适应评估协议都描述了一个封闭的集合识别任务，其中两个域，即源和目标，都包含完全相同的对象类。在这项工作中，我们还探索了开放集中的域适应领域，这是一个更现实的场景，其中源数据和目标数据之间只共享几个感兴趣的类别。因此，我们提出了一种同时适用于闭集和开集场景的方法。该方法通过联合解决一个赋值问题来学习从源到目标域的映射，该问题为那些可能属于源数据集中出现的感兴趣类别的目标实例贴上标签。全面的评估表明，我们的方法优于最先进的。
1. Introduction
对于许多应用程序来说，由于获取带注释的训练数据的成本很高，因此缺乏训练数据。尽管有大量带注释的图像数据集公开可用，但从网络收集的图像通常与与特定应用程序相关的图像类型不同。根据应用程序、传感器的类型或传感器的角度，整个捕获的场景可能与网络上的图片有很大的不同。因此，这两种类型的图像位于两个不同的域中，即源域和目标域。为了使用源域中的带注释的图像对目标域中的图像进行分类，可以对源域和目标域进行对齐。在本例中，我们将把源域的特征空间映射到目标域的特征空间。然后通过对源域的变换数据学习任意分类器，对目标域中的图像进行分类。这个过程被称为领域适应，并且更进一步在非监督和半监督方法中区分，取决于目标图像是未标记的还是部分标记的。
除了我们在过去几年看到的领域适应方面的进展[34、19、18、9、21、13、31、15]之外，到目前为止，这些方法都是使用源和目标领域的图像来自同一组类别的设置来评估的。这种设置可以称为闭集域自适应，如图1(a)所示。这种封闭集协议的一个例子是流行的Office数据集[34]。然而，认为目标域只包含源域类别的图像的假设是不现实的。对于大多数应用程序，目标域中的数据集包含许多图像，并且只包含其中的一小部分属于兴趣类。因此，我们将开放集的概念[28,37,36]引入到域自适应问题中，提出了开放集域自适应的概念，避免了封闭集域自适应的不现实假设。闭集域自适应与开集域自适应的区别如图1所示。
(a)标准域适应基准假定源域和目标域只包含同一组对象类的图像。这表示为闭集域自适应，因为它不包含未知类或其他域中不存在的类的图像。
(b)我们建议开放集域自适应。在此设置中，源和目标域都包含不属于相关类的图像。此外，目标域包含与源域中任何图像都不相关的图像，反之亦然。
作为第二个贡献，我们提出了一种适用于闭集和开集的域自适应方法。为此，我们将源域的特征空间映射到目标域。通过将目标域中的图像分配给源域中的某些类别来估计映射。赋值问题由一个二元线性程序定义，该程序还包含一个隐式离群点处理，该处理丢弃与源域中任何图像无关的图像。图2给出了该方法的概述。该方法可以应用于无监督或半监督的场景，其中目标域中的一些图像由一个已知类别标注。
我们提供了一个全面的评估和比较，与最先进的方法对24个组合的源和目标领域，包括办公室数据集[34]和跨数据集分析[44]。我们重新审视了这些评估数据集，并提出了一种新的开放集协议用于领域适应，包括无监督和半监督，我们的方法可以在所有设置中获得最先进的结果
2. Related Work
随着Saenko等人发布了一个用于对象分类环境下的领域适应基准，研究计算机视觉问题领域适应技术的兴趣增加了。Golapan et al.[19]和Gong et al.[18]首次提出了用于对象分类的无监督域自适应的相关工作，他们利用格拉斯曼流形的性质，在源和目标样本的公共子空间中提出了对齐。联合将源域和目标域转换为一个公共的低维空间，同时使用正交约束[3]的变换矩阵的共轭梯度最小化和字典学习来查找子空间插值[32,38,47]。Sun等[40,39]提出了一种基于二阶统计量的非常有效的解决方案，用于将源域与目标域对齐。同样，Csurka等人利用[10]联合去噪源和目标样本，在不存在部分随机破坏的情况下重建数据。Gong等人与域之间的关联具有一定的相似性。[17]最小化了两个数据集的最大平均差异(MMD)[20]。他们将实例分配给潜在域，并通过轻松的二进制优化来解决这个问题。Hsu等人使用了类似的思想，允许实例链接到所有其他示例。
半监督域自适应方法利用了已知几个目标样本的类标签。Aytar等人[2]提出了一种转移学习公式来规范目标分类器的训练。利用跨域的成对约束，Saenko等人[34]和Kulis等人[27]在训练目标分类器的同时，学习一种转换，以最小化域转移的影响。Hoffman等人基于同样的想法，考虑了一个迭代过程，以交替地最小化分类权重和转换矩阵。在不同的背景下，[7]提出了一种弱监督方法，通过合成图像对真实图像的粗视点注释进行细化。与半监督方法相比，视点细化的任务假设目标域中的所有图像都被标记，但没有达到所需的粒度。在自然语言处理[5]的背景下，早期的领域适应方法研究了选择各个领域中最相关的信息的思想。
在这两个领域中，选择具有相同区分学习行为的主特征来建模它们之间的关系。Gong等人提出了一种算法，该算法选择与目标域分布最相似的源样本子集。Sangineto等人提出了另一种处理实例选择的技术。它们在目标域的随机分区上训练弱分类器，并在源域中对它们进行评估。然后选择性能最好的分类器。其他的研究也利用了贪婪算法，迭代地将目标样本添加到训练过程中，同时删除最不相关的源样本[6,42]。
由于CNN特征对域变化[11]具有一定的鲁棒性，因此提出了几种基于CNNs的域适应方法[39,31,45,48]。Chopra等人[9]通过学习中间特征编码器，扩展了神经网络与源图像和目标图像的联合训练，并将它们结合起来训练一个深度回归器。MMD距离也被提议作为正则化器来共同学习源和目标样本的特征[14,46,29,30]。Ganin等人[13]在CNN之后添加了一个域分类器网络，将域损失和分类损失降到最低。最近，Ghifary等人将两种CNN模型结合起来用于标记源数据分类和无监督目标数据重建。
标准对象分类任务忽略了没有任何对象类别表示的冒名顶替者的影响。这些开放集开始在人脸识别任务中得到关注，其中一些测试样本没有出现在训练数据库中，必须拒绝[28]。最近，Scheirer等人对利用开放集检测多类识别中不相关样本的现有技术进行了重新研究。[23]和[36]通过学习支持向量机来检测未知实例，支持向量机分配概率决策得分，而不是类标签。类似地，[49]和[4]添加了一个正则化器来检测异常值并惩罚错误分类。
3. Open Set Domain Adaptation
本文提出了一种迭代求解目标样本标记问题的方法。将目标样本的子集关联到源域的已知类别，并通过最小化赋值距离计算从源到目标域的映射。然后在下一个迭代中使用转换后的源样例来重新估计分配并更新转换。这个迭代过程不断重复直到收敛，如图2所示。在3.1节中，我们描述了目标样本对源域类别的无监督分配。半监督情况见第3.2节。第3.3节最后描述了如何根据前面的赋值估计源域到目标域的映射。这部分对于无监督和半监督设置也是一样的。
3.1. Unsupervised Domain Adaptation
我们首先解决无监督域自适应的问题，即，在开放集协议中，没有一个目标示例是带注释的。给定源域中的一组类C，包括
已知类和一个额外的未知类，该类收集来自其他不相关类别的所有实例，我们的目标是将目标样本
的类
.我们定义的成本分配目标样本Tt的c类
在
的特征表示目标样本T和
是所有样本均值的源域标签的类c。提高鲁棒性的任务,我们不执行,所有目标样本被分配到一个类,如图2所示(b)。声明一个目标样本的成本作为离群值被定义为一个参数λ,4.1节中讨论。定义了个体的分配成本后，我们可以通过
通过最小化约束目标函数，得到了分配问题的二元变量xct和ot。第一类约束确保将目标样本分配给一个类，即， xct = 1，或声明为离群值，即， ot = 1。第二种约束确保每个c类至少分配一个目标样本。我们使用约束整数程序包SCIP[1]来求解所有建议的公式。
如图2(b)所示，我们也用未知类来标记目标。注意，unknown类组合了所有不感兴趣的对象。即使源和目标域中的未知数属于不同的语义类，目标样本也可能比任何其他正类更接近所有负类的平均值。在这种情况下，我们可以秘密地将目标样品标记为未知。在我们的实验中，我们表明，如果未知类被包含在无监督设置中，这没有多大区别，因为处理不接近负数均值的目标样本的异常值。
3.2. Semi-supervised Domain Adaptation
当对一些目标样本进行注释时，无监督分配问题自然扩展到半监督设置。在这种情况下，我们只需要通过附加的约束来扩展公式(1)，这些约束强制带注释的目标样本不改变标签，即，
L代表贴上目标样本的数量和
类标签提供目标样本t。为了利用标记目标样品更好，一个可以使用相邻结构在源和目标域。当约束条件不变时，目标函数(1)可改为
其中
。在(1)的成本标签的目标样本t，c类只有dct，添加第二个公式(3)，它是计算在所有邻居Nt (t)和添加类源域之间的距离作为额外费用如果邻居比目标分配给另一个类样本t。
然而，目标函数(3)变成了二次函数，因此np很难求解。因此，我们利用Kaufman和Broeckx线性化[25]将二次分配问题转化为一个混合的0-1线性程序。用
我们推导出线性化问题
。
3.3. Mapping
如图2所示，我们在求解赋值问题(如3.1或3.2节所述)和估计从源域到目标域的映射之间进行迭代。我们考虑一个线性变换，它由矩阵
表示。我们通过最小化以下损失函数来估计W:
我们可以把它写成矩阵形式:
的矩阵
和
表示所有赋值，其中列表示实际关联。凸目标函数的二次性质可以看作是一个线性最小二乘问题，任何可用的QP求解器都可以很容易地求解。然而，基于卷积神经网络的最新特性是高维的，目标实例的数量通常非常大。因此，我们使用非线性优化[41,24]来优化f(W)。(6)的导数由
如果L < D，即。，样本数量，已分配给一个已知类别，小于特征的维数，优化也处理一个欠定线性最小二乘公式。在这种情况下，求解器收敛到范数最小的矩阵W，仍然是一个有效的解。
在估计转换W之后，我们将源样本映射到目标域。因此，我们迭代解决分配问题的过程，并估计从源域到目标域的映射，直到它收敛为止。当该方法收敛后，我们在变换后的源样本上以1 -vs- 1的设置训练线性支持向量机。对于半监督设置，我们还将带注释的目标样本L(2)包含到训练集中，然后使用线性svm得到目标样本的最终标签，如图2(d)所示。
4. Experiments
我们在对象分类的领域适应上下文中评估我们的方法。在这个设置中，源域的图像由类标签标注，目标是对目标域中的图像进行分类。我们报告了无监督和半监督情况下的准确性，其中目标样本分别未标记或部分标记。为了一致性，我们使用了libsvm[8]，因为它也在其他作品中使用过，比如[12]和[39]。我们在所有的实验中都设置了错误分类参数C = 0.001，这使得软边际优化在这类分类任务中效果最佳[12,39]。
4.1. Parameter configuration
我们的算法包含一些需要定义的参数。对于异常排斥，我们使用
λ是自动适应的基于dct的距离,因为更高的值接近最大的距离几乎抛弃任何异常值和较低的值几乎拒绝所有作业。我们迭代该方法，直到达到10次迭代的最大次数，或者如果达到了这个距离：
低于ǫ= 0.01 Sc, k对应转换类的意思是在迭代k。在实践中,这一过程迭代收敛后3 - 5个。
4.2. Office dataset
我们在Office数据集[34]上对我们的方法进行了评估和比较，[34]是使用CNN特性进行域适应的标准基准。它提供了三个不同的域，即Amazon (A)、DSLR (D)和Webcam (W)。Amazon数据集包含以白色背景为中心的对象，其他两个域包含在办公环境中拍摄的不同质量级别的照片。总共有6个源-目标组合的31个公共类。这意味着相当大的领域有4组合转变(D, W, D, W)和2与未成年人域转变(D W W D)。
我们引入一个开集协议数据集通过在加州理工学院也是常见的10类共享类数据集[18]。按字母顺序，类11-20在源域中用作未知数，类21-31在目标域中用作未知数，即，源和目标域中的未知类不共享。要进行评估，需要根据10个共享类中的一个正确分类目标域中的每个示例，或者将其归类为未知类。为了与封闭设置(CS)进行比较，我们报告了源和目标域只包含10个共享类样本时的准确性。由于OS是在所有目标样本上进行评估的，所以我们也报告了仅在与CS相同的目标样本上测量精度时的数值，即，只适用于共享的10个类。后一种协议由OS(10)表示，并与CS(10)进行了直接比较。补充材料中还报告了所有类的封闭设置的其他结果。
Unsupervised domain adaptation 我们首先比较了我们的方法在无监督设置下的准确性与嵌入在CNN模型训练中的最先进的领域适应技术。DAN[29]重新训练了AlexNet通过冻结前3个卷积层，对后2个卷积层进行微调，并通过最小化两个域之间的差异，从每个全连接层学习权重，从而对模型进行建模。RTN[30]通过添加连接源分类器和目标分类器的剩余传输模块扩展了DAN。BP[13]通过梯度反转层对CNN进行域自适应训练，使域损失与分类损失同时最小化。对于训练，我们按照[17]中提出的每个类使用所有样本，这是该数据集上CNNs的标准协议。在[13]中，我们对所有的分类方法都使用线性支持向量机，而不是使用软最大值层来进行公平的比较。
为了分析第3节中讨论的公式，我们比较了几个变体:ATI (assignment -and transform - iterated)表示我们在(1)中为所有目标样本分配一个源类的公式，即λ=。ATI-λ包括异常排斥和ATI-λ-N1是局部性约束制定对应的无监督版本(3)与1近邻。此外，我们将LSVM表示为在没有任何域自适应的情况下在源域上训练的线性svm。
使用上述开放集协议的这些技术的结果如表1所示。我们的方法在没有领域自适应(LSVM)的基础上，对CS和OS分别提高了+6.8%和+14.3%。对于具有较大领域转移的组合，例如与Amazon的组合，改进幅度更大。我们也观察到ATI在封闭设置(+2.2%)和开放设置(+5.2%)下，优于所有基于cnn的域适应方法。还可以看出，对于所有方法，开放集的精度都低于封闭集，但是我们的方法处理开放集协议的效果最好。虽然ATI-λ不获得任何相当大的改进在CS ATI相比,异常拒绝允许操作系统的改善。ATI-λ-N1所在地限制配方,我们建议只semi-supervised设置,减少无监督设置的准确性。
此外，我们报告了与深度学习无关的流行领域适应方法的准确性。我们报告了将数据转换为一个常见的低维子空间的方法的结果，包括传输分量分析(TCA)[33]，大地测量流核(GFK)[18]和子空间对齐(SA)[12]。此外，我们还包括CORAL[39]，它会根据目标数据对源进行白化和重着色。按照[34]的标准协议，当Amazon用作源域时，每个对象类取20个样本，对于DSLR或Webcam取8个样本。我们从AlexNet模型[26]的全连通第7层(fc7)中提取特征向量。每个评估都使用来自源域的随机样本执行5次。五次运行的平均精度和标准偏差见表2。结果与表1中报告的方案相似。我们ATI方法优于其他方法对CS和OS和额外的异常处理(ATI-λ)并不能提高闭集的精度,但开集。
Impact of unknown class 我们在开放集协议中使用的线性支持向量机使用转换后的源域的未知类进行训练。由于来自源域的未知对象样本与来自目标域的未知对象样本来自不同的类，因此使用不需要任何负样本的SVM可能是更好的选择。因此，我们将标准SVM分类器的性能与特定的开放集SVM (OS-SVM)[36]进行了比较，其中仅使用10个已知的类进行训练。svm引入了包含概率，如果不满足任何类的包含，则将目标实例标记为未知。表3比较了这两个分类器在Office数据集的6个域转移中的分类精度。在性能比较时没有应用领域适应,ATI-λ得到更好的精度当学习包括消极的实例。
如3.1节所述，未知类也是目标样本的标签集C的一部分。然后使用标记目标样本估计映射W(6),评估包括未知类的影响,表4比较未知时的精度类不包括在c添加未知类提高精度略实施以来的负面意思源映射到目标负样本。然而，影响非常小。
此外，我们还分析了在源和目标域中增加未知样本数量对配置Amazon DSLR+Webcam的影响。由于DSLR和网络摄像头之间的域转移接近于零(相同的场景，但是不同的摄像头)，因此可以合并它们以获得更多的未知样本。按照所描述的协议，我们为每个已知类别抽取20个样本，在本例中也取目标域的样本，并随机将两个域中的未知样本数量同时从20个增加到400个。如表5所示，报告了5个随机分割的平均精度，如果不使用域自适应(LSVM)，则添加更多未知样本会降低精度，对于域自适应方法CORAL[39]也是如此。这是预期的，因为未知数来自不同的类，并且与来自共享类的示例相比，未知数的影响会增加。我们的方法处理了这种增长，精度保持在80.3%到82.5%之间的稳定。
Semi-supervised domain adaptation 我们还评估了在半监督设置下对办公数据集进行开放集域自适应的方法。再次应用带源样本子集的[34]标准协议，每个类取3个带标签的目标样本，其余不带标签。我们将我们的方法与深度学习法MMD[46]。作为基线，我们报告了线性支持向量机(LSVM)在只训练源样本(s)、只训练带注释的目标样本(t)或同时训练两个样本(st)时的准确性。正如预期的那样，针对这两方面进行训练的基线表现最好，如表6所示。我们的方法ATI优于基线和CNN方法[46]。在无监督的情况下，与CNN方法相比，开放集(+4.8%)的改进要大于封闭集(+2.2%)。ATI-λ-N而局部性约束配方,减少无监督的准确性,提高了准确性的semi-supervised情况制定实施以来,目标样本的邻居被分配到同一个班。结果有一个(ATI-λ-N1)或两个相邻(ATI-λ-N2)是相似的。
4.3. Dense Cross-Dataset Analysis
为了测量我们的方法和开放集协议在类内变化较多的流行数据集上的性能，我们还对用于跨数据集分析的密集测试平台[44]进行了实验。这个协议提供了来自4个著名数据集的40个类，Bing (B)， Caltech256 (C)， ImageNet (I)和Sun (S)。对于Office数据集，我们将前10个类作为共享类，类11-25在源域中用作未知数，类26-40在目标域中用作未知数。我们使用提供的脱焦功能(DeCAF7)。按照[43]中描述的无监督协议，我们为每个类提取50个源样本用于训练，并为所有数据集(Sun除外，Sun中每个类提取20个样本)每个类测试30个目标图像。
表7中报告的结果与Office数据集一致。ATI优于基线和闭集的其他方法+ 4.4%和+ 5.3%开集。ATI-λ获得最好的开集的精度。
4.4. Sparse Cross-Dataset Analysis
我们还介绍了一个开放集评估使用稀疏设置从[44]与数据集Caltech101 (C)， Pascal07 (P)和Office (O)。这些数据集是相当不平衡,并提供独特的特点:办公室几乎没有背景包含在类实例(17类,共2300个样本,68 - 283样品每个类),Caltech101允许多类品种(35类,共5545个样本,35 - 870样本/类)和Pascal07收集更现实的场景与部分阻挡物体在各图像位置(16类,共12219个样本,193 - 4015样品每个类)。对于每个域转移，我们取所有共享类的样本，并将所有其他样本视为未知数。表8总结了每个班次共享类的数量和未知目标样本的百分比，这些样本的百分比从30%到90%不等。
Unsupervised domain adaptation 对于无监督实验，我们使用所有源和未标记的目标样本对每个域移位进行一次运行。结果见表8。对于这种高度不平衡的开放集协议，ATI的性能比基线和其他方法高出+5.3%。ATI-λ略有改善ATI的准确性。
Semi-supervised domain adaptation 为了评估半监督设置，我们取所有的源样本和每个共享类有3个带注释的目标样例，就像在办公室数据集[34]的半监督设置中所做的那样。表9报告了5次随机分割的平均值和标准差。ATI在基线改善训练在源和目标样本一起(st) + 4.5%, ATI-λ和局部性约束邻居进一步提高性能。ATI-λ-N1改善基线+ 5.1%的准确性。
5. Conclusions
本文引入了开放集域自适应的概念。与闭集域自适应不同，源和目标域只共享对象类的一个子集，而目标域的大多数示例都属于源域中不存在的类。我们为现有的数据集提出了新的开放集协议，并评估了CNN方法和标准的无监督域适应方法。此外，我们还提出了一种无监督开放集域自适应方法。该方法还可以应用于闭集域自适应和半监督域自适应。在所有的设置中，我们的方法都达到了最先进的结果。