ICLR 2023 Oral | 探索网络结构和域泛化能力的关系

域泛化是指在一个新的、未知的领域或环境中，一个模型可以在没有特定的领域或环境知识的情况下进行有效的预测。

域泛化在现实生活中具有很高的应用价值。例如，在医疗诊断中，由于医疗数据难以获取，模型必须在不同的医院、城市或国家之间进行泛化，以便有效地进行诊断；在自动驾驶汽车领域，模型必须能够在各种天气、路况和道路类型等不同环境下泛化，以实现可靠的自动驾驶。

因此，域泛化是一个重要的研究方向，可以使机器学习模型在更广泛的实际应用场景中实现更好的性能。

目前，域泛化方法主要可以分为以下几类：

• 基于数据增强的方法：该方法通过对训练数据进行不同的增强操作，如旋转、平移、缩放等，增加训练数据的多样性，以提高模型的泛化能力
• 基于特征对齐的方法：该方法通过对源域和目标域的特征进行对齐，减小不同域之间的分布差异，以提高模型的泛化能力
• 基于元学习的方法：该方法通过在训练过程中学习如何快速适应新的领域，以提高模型的泛化能力
• 基于集成学习的方法：该方法通过组合多个不同的模型或训练过程，提高模型的泛化能力

以上所提到的方法各有优劣，其中主要的缺陷包括：

• 基于数据增强的方法可能会导致过拟合，因为增强操作可能会使模型过度关注一些特定的特征
• 基于特征对齐的方法需要对源域和目标域的数据进行对齐，但在实际应用中，源域和目标域之间的分布差异可能非常大，导致对齐效果不佳
• 基于元学习的方法需要大量的元训练数据，并且可能会导致过拟合，因为元学习的目标是在训练过程中快速适应新的领域，而不是在整个训练集上获得最佳性能
• 基于集成学习的方法需要组合多个模型或训练过程，这可能会导致计算成本较高，并且可能需要更多的训练数据来训练多个模型

在认识到现在的预适应方法所存在的问题后，我们认为有必要从一个新的角度去思考如何更好地解决这个问题。

最近出现的Vision Transformers在视觉领域的各个任务中逐渐代替了CNN，成为被广泛采用的网络结构。因此，我们认为网络结构和泛化性之间可能存在着密不可分的联系。

在机器学习中，归纳偏置是指在模型选择和学习算法中使用的先验知识和假设，它们可以帮助模型从数据中学习有用的模式，而不仅是记住特定的训练实例。一个好的归纳偏置可以帮助模型更快地收敛，更准确地泛化到新数据，以及更好地抵抗过拟合。

不同的网络结构可以提供不同的归纳偏置、不同的能力来表示数据的特征。例如，卷积神经网络（CNN）在图像领域的应用中表现出色，是因为CNN结构天生适合处理图像中的局部性和平移不变性。类似地，循环神经网络（RNN）适合处理序列数据，因为它们具有自然的时间归纳偏置。

目前已经有一些相关工作提出了理论工具[1,2]，用于分析神经网络结构在解决不同问题时的能力强弱。然而，目前这些分析仍然存在于In-distribution learning problem 中，而我们的问题则更关注于Out-of-distribution learning problem。因此，我们对[1]中提出的algorithmic alignment在DG问题上进行了延伸分析。

GMoE的泛化能力来自于其内部骨干网络结构，这与现有的DG算法是正交的。这意味着SOTA DG算法可以应用于改进GMoE的性能。

我们同样在限定了基础模型结构的IID性能（ViT-S/16和ResNet-50 V2）基础上，比较这两个模型的DG性能。以下是对比结果，可以看到 ViT-S/16在略输ResNet-50 V2的情况下，仍然在DG任务上取得了更好的性能。

以下是GMoE的Expert Selection可视化结果。图像来自于CUB-DG中自然领域的不同类别。图中不同颜色的线连接不同图像上的同一类别鸟类的视觉属性（Visual Attributes）。同一视觉属性由同一Expert处理，例如嘴和尾巴由Expert 3处理，左/右腿由Expert 4处理。