领域自适应（DA）旨在将从源领域学习到的知识转移到未标记的目标领域。最近的一些工作涉及无源域自适应（SFDA），其中只有源预训练模型可用于自适应到目标域。然而，这些方法没有考虑保持源性能，这在实际应用中具有很高的实用价值。在本文中，我们提出了一种新的域自适应范式，称为广义无源域自适应（G-SFDA），其中学习的模型需要在目标域和源域上都表现良好，在自适应过程中只能访问当前未标记的目标数据。首先，我们提出了局部结构聚类（LSC），旨在将目标特征与其语义相似的邻居进行聚类，从而在缺乏源数据的情况下成功地将模型适应目标领域。其次，我们提出了稀疏域注意力（SDA），它产生一个二元域特定注意力来激活不同域的不同特征通道，同时在自适应过程中利用域注意力来正则化梯度，以保持源信息。在实验中，就目标性能而言，我们的方法与现有的DA和SFDA方法不相上下或更好，特别是它在VisDA上实现了最先进的性能（85.4%），并且我们的方法在适应单个或多个目标域后，适用于所有域。