相关知识

ReID

行人重识别是是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术，即给定一个监控行人图像检索跨设备下的该行人图像。行人重识别技术可以弥补目前固定摄像头的视觉极限，并可与行人检测、行人跟踪技术相结合，应用于视频监控、智能安防等领域。

面临挑战

低分辨率、遮挡、视角、光照、模糊等问题，导致在目标域上识别的准确率降低。

伪标签

伪标签是计算机视觉中用于训练模型的标签，通常由人工或机器生成。在无监督学习中，伪标签是生成模型在目标域上的输出，用于帮助模型在目标域上进行训练。

简介

该文章提出了一种名为 P2LR的算法，用于无监督域适应的行人重识别。这是一种利用概率不确定性模型逐步优化伪标签的算法，旨在减少错误标签对模型训练的负面影响。

GitHub链接

论文

摘要

基于聚类的无监督域自适应(UDA)人员再识别(ReID)减少了详尽注释。然而，由于不理想的特征嵌入和不完善的聚类，目标领域数据的伪标签固有地包含未知比例的错误标签，这将误导特征学习。本文提出了一种基于概率不确定性引导的渐进式标签提炼(P2LR)的领域自适应人物再识别方法。首先，我们提出沿理想单峰分布的概率距离对标注不确定性进行建模。建立了一种定量准则来衡量伪标签的不确定度，便于网络训练。其次，我们探索了一种改进伪标签的渐进策略。通过不确定性引导的替代优化，我们在目标域数据的探索和噪声标记的负面影响之间取得了平衡。在强大的基线之上，我们获得了重大改进，并在四个UDA ReID基准上实现了最先进的性能。具体来说，我们的方法在Duke2Market任务上比基线高出6.5% mAP，而在Market2MSMT任务上比最先进的方法高出2.5% mAP。

解决的问题

主要解决跨域识别问题，在源域进行训练，然后通过在目标域上进行识别。

找到错误的伪标签，并减少它们对基于聚类的UDA人ReID的负面影响。

研究方法

首先，提出了一种基于概率的不确定性度量方法，用于评估由聚类生成的伪标签的不确定性。利用Kullback-Leibler (KL)散度来衡量预测分布P与理想分布Q之间的不一致性，从而得到样本的不确定性。

然后，将不确定性引导的领域适应问题形式化为一个联合优化问题。优化目标是减少选定样本的整体不确定性，同时尽可能多地选择样本以进行充分的训练。

为了优化上述目标函数，文章采用了替代凸搜索策略。

最后，基于提出的不确定性度量，通过梯度下降法进行网络训练。

这张图展示了跨域行人重识别的无监督域适应框架，包括三个主要模块：

1. Source Pretrain（源域预训练）
   在源域数据上进行预训练，利用两个模型$M_1$和$M_2$，分别学习源域的特征。通过源域的标注数据来训练模型，为目标域的自适应学习提供一个初始的特征表示和分类能力。使用身份损失$L_{id}$和$L_{tri}$三元组损失进行监督学习。这些损失函数的目的是帮助模型学习源域中的类别区分，从而具备基本的重识别能力。

2. 不确定性指导的标签精炼
   在目标域数据上进行不确定性指导的标签生成和筛选。使用一个Mean Teacher模型生成初始特征嵌入，通过聚类和外部分类器生成伪标签。在目标域数据上生成伪标签，同时根据不确定性度量来筛选可信的伪标签，从而减少错误伪标签对模型的影响。
   在目标域数据上生成特征表示。用特征表示对目标域样本进行聚类，生成初步的伪标签。将聚类结果输入外部分类器，并通过分类输出的分布计算每个样本的伪标签不确定性。使用$KL$散度作为不确定性度量，筛选出不确定性低的样本作为可靠的伪标签。基于不确定性对样本进行选择，选择可靠的样本（低不确定性）进行进一步训练。

3. 目标域微调
   在生成的目标域伪标签上进行微调，进一步优化模型在目标域的性能。通过目标域的伪标签微调模型，使模型更好地适应目标域的特征分布，从而提高跨域行人重识别的准确性。多个模型在目标域上进行训练，使用不确定性引导的样本选择策略来筛选高置信度的目标域样本，进行逐步优化。对目标域微调时使用联合损失函数，包括身份损失、三元组损失和不确定性损失。

想法

思路：基于GAN的自适应伪标签优化网络

该方法利用GAN判别器的反馈作为伪标签筛选的辅助判据，提升模型筛选错误伪标签的能力。具体来说，通过结合GAN判别器的“真实性”评分与传统的不确定性建模，可以更加有效地识别错误的伪标签，并在后续训练中加以优化。

方法

源域到目标域的风格迁移GAN模块：使用GAN网络生成具有目标域风格的源域数据，减少源域和目标域之间的分布差异。

基于不确定性建模（如KL散度）计算伪标签的初步置信度，同时使用GAN判别器对每个目标域样本进行真实性评分，以辅助筛选错误伪标签。

对于不确定性高、真实性评分低的样本，认为其伪标签可能是错误的，将这些样本的权重降低或剔除。对于不确定性低、真实性评分高的样本，保留其伪标签，加入训练数据集中进行优化。

GAN辅助标签选择模块：利用GAN的判别器来评估生成图像的“真实性”，并基于真实性分数来优化伪标签选择，过滤掉低置信度伪标签。

计联合损失函数，将不确定性损失和对抗损失结合，确保模型在保持数据真实性的同时提升伪标签的可靠性。

步骤

1. GAN模块——域间风格迁移

使用CycleGAN等无监督的生成对抗网络，将源域数据转换为目标域风格，生成的图像尽可能与目标域的数据分布一致。将转换后的源域图像与真实的目标域图像混合，形成具有目标域特征的扩展数据集。通过风格迁移减小源域与目标域的差异，使模型在预训练阶段即适应目标域风格，减少伪标签生成中的误差。

2. 伪标签生成与优化

对目标域数据进行无监督聚类，生成初始的伪标签。在GAN生成的增强数据集上应用本文的伪标签优化方法：利用KL散度来度量伪标签的可靠性，识别不确定性高的样本。基于不确定性，逐步过滤低置信度的样本，保留高可信度的伪标签样本，并逐步扩大训练集。结合GAN生成的目标域风格图像，提升伪标签生成的准确性，优化模型在目标域数据上的适应性。

3. GAN辅助标签选择模块

使用GAN的判别器来辅助伪标签选择。判别器在训练过程中学习区分真实目标域图像与生成图像的能力，能够为每个生成样本提供一个“真实性”评分。对于GAN生成的增强样本，利用判别器的真实性评分过滤掉不确定性高的样本，增强伪标签的可靠性。利用GAN判别器的反馈，对生成样本的标签进行筛选，以提升伪标签的精度和稳定性。

4. 不确定性与GAN判别器的联合筛选

使用P2LR中的KL散度等不确定性度量方法，计算每个样本的伪标签置信度。利用GAN判别器为每个样本生成“真实性”评分。判别器学习到目标域的特征分布，能够识别出与目标域特征不符的样本。

5. 联合度量筛选规则

根据不确定性置信度和真实性评分联合筛选伪标签

6. 联合损失函数

定义联合损失函数，将不确定性筛选损失和对抗损失结合：

$$\mathcal{L}=\alpha\cdot L_{uncertainty}+\beta\cdot\mathcal{L}_{GAN}$$

使用P2LR思想和结合GAN后的创新之处：

1. 不确定性建模与伪标签优化

在P2LR中，通过概率不确定性建模来识别和过滤不可靠的伪标签。本方法中同样采用了不确定性建模，使用KL散度来评估每个伪标签的置信度。

P2LR的核心思想是通过逐步剔除不确定性高的样本、保留高置信度样本，以此优化标签质量。在新方法中，利用P2LR的逐步优化机制，使得GAN生成的目标域风格数据集能够逐步优化伪标签。

除了直接基于KL散度的不确定性度量，本方法还引入了GAN判别器的“真实性”评分作为不确定性的补充度量，从而更全面地筛选和优化伪标签。

2. 渐进式标签优化

P2LR提出的渐进式标签优化策略，通过不断扩展高置信度样本的数量来逐步优化训练过程。在新方法中，GAN生成的目标域风格样本经过逐步标签优化，先从高置信度样本开始训练，并逐步增加低置信度样本，使模型在目标域的适应能力逐步增强。

本方法在使用GAN生成样本的基础上应用渐进式标签优化策略，使得源域和目标域数据的分布逐步对齐，进一步提高目标域伪标签的准确性和模型的泛化能力。

3. GAN辅助的标签选择

本方法结合GAN判别器的反馈来进一步优化伪标签质量，这与P2LR中的不确定性度量和样本剔除相辅相成。GAN判别器学习了目标域图像分布的特征，因此可以为生成样本提供“真实性”评分，辅助伪标签选择，过滤掉潜在的错误标签。

P2LR专注于不确定性建模以剔除低置信度样本，而本方法则将GAN判别器的判别能力融入标签选择过程，从多角度优化伪标签的可靠性。

4. 整体方法的渐进优化框架

P2LR的渐进标签优化框架在这里被用于引导GAN生成的图像的逐步训练。通过从高置信度的伪标签样本开始训练，逐渐加入低置信度的样本，使得GAN生成的样本能够在不确定性降低的过程中被有效利用。

本方法借助GAN生成的目标域风格样本，并将这些样本逐步加入到训练数据中，通过P2LR的渐进式优化策略逐步提升标签质量。

5. 双重判别机制

GAN判别器的真实性评分与不确定性筛选结合，能够更有效地筛选出错误伪标签。