ECCV2018｜DCAN论文详解domain adaptation语义分割

shaoheshaohe

论文： DCAN: Dual Channel-wise Alignment Networks for Unsupervised Scene Adaptation
会议：ECCV
架构：


挑战：
（1）DCNN在语义分割上获得进展依赖于大量的耗费人工的标注；
（2）若是可以利用生成数据和它易获取的标签进行训练，在真实数据集上进行迁移测试，这样则可以解决标注的问题，但是这样的方式又有新的问题；
（3）训练模型的泛化能力以及域间差异domain shift限制了分割的准确性
目前，很多工作都在尽力减小domain shift
方法：
（1）通过在low-level和high-level上进行channel-wise alignment，从而减小domain difference
（2）channel-wise alignment：对齐特征的同时，保留了图片的空间结构和语义信息，可应用于分割
网络详解：
（1）Channel-wise Feature Alignment
1）数据分布的均值和方差表示图片的style;
2）使用adaptive instance normalization方法，对齐source domain和target domain中图片每个channel map的特征。
3）Channel-wise Feature Alignment针对channel 对齐图片信息，确保语义信息编码在不同的channel中，两个网络均使用了这个方式。


（2）Dual Channel-wise Alignment Networks
Image generator:
（1）输入source image和target image，通过encoder-decoder生成具有source image 内容和target image 风格的图片。
（2）encoder:


具体结构：


如图中所示，source image和target image输入encoder,得到编码的特征，在这里根据target image的特征的均值和方差对source image特征的均值和方差进行channel-wise对齐，通过decoder生成内容上与source image相似，而风格上与target image 相似的图片。
Loss:





Segmentation Network:
网络：Deeplab,FCN,SegNet等前3个stage为encoder，后2个stage为decoder
分割网络使用生成图片和label作为数据集，使用target图片作为提供channel-wise feature aligment的图片，对segmentation network进行训练。


Loss:多类交叉熵函数


（3）Optimization：
（1）target domain中的每一张图片均代表一种style,但是若将source imsge与每一张target image进行训练，则太耗费计算资源
（2）使用source image和target domain中的随机一张图片进行训练
最终损失函数：


测试：
仅使用Segmentation Network,输入target image 输出分割map
分割结果：