ECCV 2024|KTSE:基于知识传递的弱监督语义分割

语义分割在自动驾驶等领域的广泛应用中扮演着至关重要的角色(1)(2)。然而,传统的语义分割模型往往依赖大量的像素级标注数据(3)(4)(5),这不仅耗时费力,还限制了模型在大规模应用中的可行性。在弱监督语义分割(WSSS)领域,研究者们一直在寻求更高效的方法来减少标注需求,但现有的方法常常面临过度扩展和欠激活的问题(6)(7),严重影响了目标的精准定位(8)。

为了解决这些挑战,地平线与合作伙伴在 ECCV 2024 上提出了一种全新的弱监督语义分割方法——KTSE(Knowledge Transfer with Simulated Inter-Image Erasing): 通过模拟图像间擦除实现知识传递的弱监督语义分割。KTSE 通过引入额外的目标信息与模拟图像间擦除的过程,显著提升了网络的目标定位能力,避免了传统方法中常见的过度扩展问题(9)。KTSE 不仅在理论上提供了创新性的解决方案,还在多个公开数据集上取得了卓越的实验结果。

• 论文链接:

https://arxiv.org/abs/2407.02768

• 项目主页:

https://nust-machine-intelligence-laboratory.github.io/project-KTSE/

• 开源代码:

https://github.com/NUST-Machine-Intelligence-Laboratory/KTSE

KTSE 方法概述

KTSE 方法由三个核心模块组成:模拟图像间擦除(SIE)、自监督正则化(SSR)和多粒度对齐(MGA)。这些模块紧密结合,形成了一个高效的弱监督语义分割流程。

模拟图像间擦除(SIE)

传统的擦除方法通过去除图像中最具辨识度的部分,迫使网络激活其他区域。然而,这种策略容易导致目标区域的过度扩展或不足。KTSE 的 SIE 模块通过引入来自配对图像的额外物体信息,模拟图像间擦除,削弱原始图像的激活,从而避免过度扩展问题,并加强目标区域的完整性。

图1:(a)之前的对抗擦除方法容易导致过度扩;(b)我们通过添加配对图像的对象知识,削弱当前激活,从而增强网络的定位能力;(c)结果对比。

具体来说,SIE 通过引入配对图像中的额外目标知识,削弱当前图像中的目标激活。随后,网络通过从锚点图像中学习对象知识,增强目标定位能力。该方法有效避免了以往基于对抗擦除方法中常见的过度扩展问题,确保了网络能够更准确地识别和定位图像中的目标。

自监督正则化(SSR)

KTSE 还引入了自监督正则化模块,旨在确保锚点图像中关键区域的可靠激活。在双向对齐过程中,SSR 模块通过自监督方式引导网络识别复杂图像中的类间边界,从而防止锚点激活的减弱问题。SSR 模块的设计进一步提升了 KTSE 在处理多目标图像时的分割精度。

多粒度对齐(MGA)

为了解决传统方法中目标激活区域不足的问题,KTSE 提出了多粒度对齐模块。MGA 通过温和的激活扩展,有效扩大目标区域,同时减少背景噪声的引入。通过增强目标信息的传递,MGA 显著提高了整体分割精度,使 KTSE 在各种场景下都能表现出色。

图2:我们设计的架构包括模拟图像间擦除(SIE)场景,通过配对图像引入额外对象信息,并通过锚点图像学习增强定位能力。自监督正则化(SSR)模块防止双向对齐削弱锚点激活,提升边界识别。多粒度对齐(MGA)模块温和扩大对象激活,促进知识传递。

实验验证与结果

实验结果显示,KTSE 方法在 PASCAL VOC 2012 和 COCO 数据集上的伪掩码准确性和分割结果方面取得了显著的优势。以下是对不同方法的表现进行的定性和定量比较:

PASCAL VOC 2012 训练集上的示例定位图

在 PASCAL VOC 2012 训练集上,我们展示了不同方法生成的示例定位图。结果表明,随着我们的方法逐步增强,生成的定位图在目标的完整性和准确性上得到了显著改善。

图3:对于每张 (a) 图片,我们展示了 (b) 标注的真实值,(c) 之前AEFT方法生成的定位图,(d) 我们的基线模型,(e) 基线模型加SIE,(f) 基线模型加SIE和SSR,以及 (g) 基线模型加SIE、SSR和MGA。

PASCAL VOC 2012 数据集上的伪掩码准确性和分割结果定量比较

在 PASCAL VOC 2012 数据集上,KTSE 方法在提升伪掩码质量和分割精度方面表现卓越(表1、表2)。这些结果凸显了 KTSE 方法在改进伪掩码质量和提高分割准确性方面的有效性。

PASCAL VOC 2012 和 COCO 数据集上的分割性能定量比较

在 PASCAL VOC 2012 和 COCO 数据集上,KTSE 方法使用 ResNet 作为骨干网络时,表现出优异的分割性能(表3、表4和表5)。这些表格展示了 KTSE 方法在多个数据集上的出色表现,证明了其在实现更高分割精度方面的优势。

总结与展望

KTSE 方法为弱监督语义分割提供了一种全新的解决方案,通过知识传递与模拟图像间擦除,克服了传统方法中的过扩展和欠激活问题。未来,我们期待这一创新方法能够在更多场景中得到推广,助力自动驾驶等技术的发展。


夕夕海 » ECCV 2024|KTSE:基于知识传递的弱监督语义分割

发表回复