一种跨模态的无监督域自适应医学图像分割方法

阅读：评论：0

1.本发明涉及图像分割技术领域，具体地说是一种基于一致性正则化和不确定性估计的无监督跨模态医学图像分割方法。

背景技术：

2.医学图像分割作为一种新兴的生物医学图像处理技术，为可持续医疗做出了巨大贡献，现已成为图像处理和计算机视觉领域的一个重要的研究方向。图像分割结果直接影响着后续任务的有效性。图像分割的目的就是把目标从背景中提取出来，分割过程主要是基于图像的固有特征，如灰度、纹理、对比度、亮度、彩特征等将图像分成具有各自特性的同质区域。
3.近年来随着深度学习的发展，许多图像分割问题正在采用深层次的结构来解决，最常见的就是卷积神经网络(cnn)，它在精度上以及效率上大大超过了其他方法。卷积神经网络(cnn)在医学图像分割领域虽然取得了一定的成功，但这需要大量可获得的医学图像标注，然而众所周知，医学标注是昂贵的。
4.现有技术的医学图像分割存在着医疗图像分割中的域偏移问题，导致在一种模态上训练的模型应用到另一种模态上时会出现明显的域偏移，根据mr数据训练的cnn在ct图像上测试时完全失败。为了恢复模型性能，一种简单的方法是使用来自目标域的附加标记数据重新训练或微调模型。然而，对每个新域的数据进行注释显然是非常昂贵的，特别是在需要专业知识的医学领域。

技术实现要素：

5.本发明的目的是针对现有技术的不足而提供的一种跨模态的无监督域自适应医学图像分割方法，采用一致性正则化的图像适应模块和不确定性感知的特征适应模块架构的无监督域自适应的网络框架，注入了两个判别器到不确定性估计空间和语义预测空间中，使模型生成了域不变的特征，通过最小化目标模态数据的预测不确定性图，使模型在高度不确定性区域上的分割性能得以提升，方法简便，使用效果好，可以在不使用任何目标域标注的情况下可以学习到两个模态间共有的特征，并且在源模态和目标模态图像上都有较好的分割效果。
6.实现本发明具体技术方案是：一种跨模态的无监督域自适应医学图像分割方法，其特点是利用一致性正则化和不确定性估计来增强源模态和目标模态之间的图像对齐和特征对齐，以解决医学图像中域转移问题；具体包括如下步骤：
7.步骤一：对获取的多模态医学分割数据集进行数据预处理，得到训练集和测试集，所述训练集中包含源图像xs及其对应的标签ys和无标注的目标图像集合x
t
，为方便阐述，定义来自源域xs带有标记的样本目标域x
t
中没有标记的数据表示为
8.步骤二：将训练集输入至无监督域自适应分割网络cruea中进行迭代训练，根据损失函数计算梯度，对整个分割网络执行参数更新，所述cruea网络包括：图像自适应模块和
特征对齐模块；所述图像自适应模块是将xs的外观朝着x
t
的外观调整，得到的经过转换的图像看起来就像是从目标域中获得的，但其原始内容(目标的结构和语义信息)仍然不受影响，其具体操作如下：
9.利用生成对抗网络分别构建一个正向生成器g
t
和正向判别器d
t
，正向生成器g
t
是将源图像转换为类似目标域的图像g
t
(xs)＝xs→
t
，正向判别器d
t
是以正确区分伪造图像xs→
t
和真实目标图像x
t
。因此，在目标域中，正向生成器g
t
和正向判别器d
t
形成一个极小极大的二人博弈，并通过下述(a)式表示的对抗性学习进行优化：
[0010][0011]
式中，xs表示为源域图像，x
t
表示为目标域图像，表示从源域图像的集合中采样计算得到的期望，表示从目标域图像的集合中采样计算得到的期望。
[0012]
所述正向判别器d
t
试图最大化这个目标函数来更好的区分g
t
(xs)＝xs→
t
和x
t
，而正向生成器g
t
需要小化这个目标，将xs→
t
和x
t
更加难以区分。为了保存转换后图像中的原始内容，使用一个反向循环生成器用来保持数据的一致性(防止源域图像在转化的时侯原始内容发生变化)。具体来说，模型还应用一个反向生成器gs用于将xs→
t
映射回源域，同样地还附属一个反向判别器ds。{gs，ds}的训练方式和{g
t
，d
t
}相似。具体的循环方式如下：gs(g
t
(xs))≈xs，g
t
(gs(x
t
))≈x
t
，让源域数据既保持视觉外观和目标域相似(类似于风格转换)，又保证原始的内容不受影响(转化后的图像内容可识别)，其约束函数由下述(c)式表示为：
[0013][0014]
其中，xs表示为源域图像，x
t
表示为目标域图像，表示从源域图像的集合中采样计算得到的期望，表示从目标域图像的集合中采样计算得到的期望。
[0015]
图像自适应模块通过以上两个损失，将源图像xs转化为目标图像x
t
并保留了语义内容。对于反向判别器ds用于区分图像是由xs→
t
重建，还是由x
t
转化而来的，并采用下述(b)式的对抗损失来监督此过程：
[0016][0017]
其中，xs→
t
表示为由源域图像转化得到的类目标图像，x
t
表示为目标域图像，表示从目标域图像的集合中采样计算得到的期望；表示从类目标图像集合中采样计算得到的期望。
[0018]
此外，本发明对真实数据和生成数据同时进行增广，最大程度上的利用数据增广来提升模型能力。数据增强的方式包括空间变化的增强和图像亮度、颜和噪声的增强。具体地，本发明引入了转换操作符执行数据增强一致性正则化，其作用于正向判别器d
t
上，用于惩罚其在和之间的敏感性，具体形式由下述(i)式表示如下：
[0019]
[0020]
其中，xs→
t
表示为由源域图像转化得到的类目标图像，x
t
表示为目标域图像，表示从目标域图像的集合中采样计算得到的期望；表示从类目标图像集合中采样计算得到的期望；表示对图像执行图像增强。
[0021]
通过增强一致性正则化，判别器一方面需要判别输入的数据是真实还是生成的，另外一方面要对原始数据和增广数据实现一致性的保证，即提取相同的语义表示，从而增强了生成器的特征抽取能力。
[0022]
在上述图像自适应中，用变换后的类目标图像训练分割网络已经可以在目标数据上获得很好的性能。但医学数据mr和ct之间存在严重的域差异。接下来，本发明从特征自适应的角度添加额外的判别器，以更好的弥补合成图像和目标图像之间的域差异。
[0023]
参阅图2，用于预测的分割掩码由一个分割网络(分割器)给出，这个分割器包含了一个共享编码器e，一个不确定性估计器u和一个分类器c。本发明构造了一个判别器d
p
来进行区分分割掩码来自x
t
还是来自xs→
t
。语义预测空间代表人体解剖结构的信息，在不同的成像模式下，语义预测空间应保持一致，语义级监督对特征自适应的对抗损失由下述(d)式表示为：
[0024][0025]
其中，xs→
t
表示为由源域图像转化得到的类目标图像，x
t
表示为目标域图像，表示从目标域图像的集合中采样计算得到的期望；表示从类目标图像集合中采样计算得到的期望；表示对图像执行图像增强。
[0026]
类似地，本发明还添加了一个不确定性判别器du来区分关于分割掩码的不确定性图是来自x
t
还是来自xs→
t
，不确定性估计空间代表了一些器官的结构轮廓和边缘，这些位置上的模型给出的分割掩码非常容易出现重叠或错位，造成歧义的分割。在不同的成像模式下，对器官的轮廓边界的判断该保持一致，不确定性监督对特征自适应的对抗损失由下述(e)表示为：
[0027][0028]
其中，xs→
t
表示为由源域图像转化得到的类目标图像，x
t
表示为目标域图像，表示从目标域图像的集合中采样计算得到的期望；表示从类目标图像集合中采样计算得到的期望；表示对图像执行图像增强。
[0029]
所述共享编码器e通过连接两个方面的判别器来提取具有域不变性的特征，即分割预测和不确定性图。通过对这两个方面进行的对抗性学习，源域和目标域之间的域差异可以有效的解决。当源域图像转化为目标域图像之后，经过共享编码器e提取特征后进行分类，得到语义分割的预测图，便可以通过源域的标签计算分割损失，在计算分割损失同时使用了交叉熵和dice损失，即考虑了分布距离也考虑了预测结果和真实gt的交并比，经过反向传播，编码器e可以学到部分目标域的特征。使用分割损失函数的形式如下(j)式：
[0030]
[0031]
其中，dice表示dice loss，α表示dice loss的权重系数，表示交叉熵损失，ys表示表示源图像xs的分割掩码，表示类目标图像xs→
t
的分割掩码。为了估计预测的不确定性，本发明设计并使用了一个u-net的变体mu-net，变体的结构。
[0032]
参阅图6，对于mu-net输出的n组输出特征图，模型对每组特征图分别应用softmax函数，即group-wise softmax，得到了n组的概率预测图，表示为本发明所提出的模型采用预测熵作为近似不确定性的度量，所述预测熵可由下述(k)表示为：
[0033][0034]
其中，表示第n组给出的该像素是第c类的概率。
[0035]
将n个概率预测的平均值作为最终的分割概率图并将香农熵图e∈[0，1]h×
w作为不确定性估计图。其中，h，w表示分割概率图的高度和宽度。对于目标图像x
t
来说，由于其没有标注的监督，其不确定性图的熵比较高。本发明所提出的模型期望降低目标图像分割预测的不确定性，即尽可能降低整个不确定性图的熵，这可以通过下述(m)最小化下式实现：
[0036][0037]
其中，表示cruea框架预测出来的不确定性图中每一个位置的熵值，e表示编码器，u表示不确定性估计器。
[0038]
所述迭代训练的具体步骤如下：
[0039]
1)更新cruea框架中的图像自适应模块，正向生成器g
t
首先更新以将源域图像转化到类目标域，d
t
更新以区分类目标图像和真实目标图像。
[0040]
2)反向判别器gs更新以将目标图像转换为类源图像，ds更新以区分类源图像和真实的源图像。
[0041]
3)更新{gs，ds}让源域图像既保持视觉外观和目标图像相似(类似于风格转换)，又保证原始的内容不受影响(转化后的图像内容可识别)。
[0042]
4)保持cruea框架中{d
t
，gs，ds}这三个组件的参数固定，更新共享编码器e以从类目标图像和真实目标图像中提取特征，然后更新分类器c和不确定性估计器u，将提取的特征用于语义分割和生成不确定性图像。
[0043]
5)掩码判别器d
p
和不确定性判别器du更新，对输入域进行分类，以增强特征不变性。
[0044]
不同的任务会给共享编码器e参数带来互补的归纳性偏差，也就是或者关注结构语义或者关注轮廓边缘。当训练这样一个复杂的模型时，这有助于缓解使用有限的医学数据集时遇到的过拟合问题。cruea框架的总体训练目标如下述(f)式：
[0045]
[0046]
其中，表示xs→
t
和x
t
之间的判别损失；表示是xs和x
t
→s之间的判别损失；表示循环一致性损失，表示增强一致性损失，表示分割结果ps→
t
和p
t
之间的判别损失，表示目标数据的分割损失；表示不确定图us→
t
和u
t
之间的判别损失；表示不确定图的最小化熵损失。
[0047]
步骤三：迭代训练完成后，仅保留自适应分割网络中cruea中生成器，共享编码器e共和分类器的权重，得到了具有最优权重的分割模型。
[0048]
步骤四：输入待测试图像至最优权重参数的模型中，得到分割结果。
[0049]
步骤五：应用重合度系数和平均表面距离对所述分割结果进行评价。
[0050]
本发明与现有技术相比具有以下有益的技术效果和额技术显著进步：
[0051]
1)本发明所提出的cruea框架在不使用任何目标域标注的情况下可以学习到两个模态间共有的特征，并且在源模态和目标模态图像上都有较好的分割效果，提高了特征分布的域不变性，最终促使模型生成了域不变的特征。通过最小化目标模态数据的预测不确定性图，使模型在高度不确定性区域上的分割性能得以提升。通过协同图像和特征的适应性来缩小不同域(模态)之间的差距，从而使得本发明可以需要图像分割时医学图像标注不易获取和跨模态医学图像难以一一对应的复杂状况。
[0052]
2)本发明首先跨域变换图像的外观，将源域图像转换为目标域类似的图像，使用源域标签进行有监督训练，同时在特征级别通过对抗学习进行域迁移，促使模型生成域不变的特征。两种域迁移使用相同的权重参数，在不使用任何目标域标注的情况下进行迭代训练，最终学习到两个域共有的特征，有效地解决解决医学图像域迁移的问题。
[0053]
3)利用一致性正则化和不确定性估计来增强源-目标图像对齐和特征对齐，以解决域转移问题。
[0054]
4)通过在两个空间，即不确定性估计空间和语义预测空间进行对抗性学习来加强特征对齐，这两种压缩空间都有助于进一步增强所提取特征的域不变性，使得预测的分割图更加鲁棒。
[0055]
5)通过最小化目标域的预测的熵促使预测的分割图更具保真度。
附图说明
[0056]
图1为本发明流程图；
[0057]
图2为cruea整体框架示意图；
[0058]
图3为对齐模块的两个映射函数的示意图；
[0059]
图4为图像对齐模块的示意图；
[0060]
图5为2d u-net网络结构示意图；
[0061]
图6为mu-net的网络结构示意图。
具体实施方式
[0062]
本发明涉及到计算机视觉中的生成对抗网络gan和图像分割等相关技术阐述如下。
[0063]
1)gan与cyclegan
[0064]
gan的全称是generative adversarial networks，即生成对抗网络，由ian j.goodfellow等人于2014年10月发表在nips大会上的论文《generative adversarial nets》中提出。此后各种变体pix2pix、cyclegan、stargan、stylegan等层出不穷，在图像翻译如“换脸”，“换背景”等应用场景下生成的图像、视频能够做到以假乱真。对抗生成模型gan首先是一个生成模型，与用以分类的判别模型不同，判别模型的数学表示是y＝f(x)，也可表示为条件概率分布p(y|x)，当输入一张训练集图片x时，判别模型输出分类标签y。模型学习的是输入图片x与输出的类别标签y的映射关系。即学习的目的是在输入图片x的条件下，尽量增大模型输出分类标签y的概率。而生成模型的数学表示是概率分布p(x)。没有约束条件的生成模型是无监督模型，将给定的简单先验分布π(z)(通常是高斯分布)，映射为训练集图片的像素概率分布p(x)，即输出一张服从p(x)分布的具有训练集特征的图片。模型学习的是先验分布π(z)与训练集像素概率分布p(x)的映射关系。生成对抗网络一般由一个生成器(生成网络)，和一个判别器(判别网络)组成。生成器的作用是，通过学习训练集数据的特征，在判别器的指导下，将随机噪声分布尽量拟合为训练数据的真实分布，从而生成具有训练集特征的相似数据。而判别器则负责区分输入的数据是真实的还是生成器生成的假数据，并反馈给生成器。两个网络交替训练，能力同步提高，直到生成网络生成的数据能够以假乱真，并和判别网络的能力达到一定均衡。g络的训练优化目标如下述(1)式：
[0065][0066]
上述(1)式中等号左边的部分：v(d，g)表示的是生成样本和真实样本的差异度，可以使用二分类(真、假两个类别)的交叉熵损失。表示在生成器固定的情况下，通过最大化交叉熵损失v(d，g)来更新判别器d的参数。表示生成器要在判别器最大化真、假图片交叉熵损失v(d，g)的情况下，最小化这个交叉熵损失。等式的右边其实就是将等式左边的交叉熵损失公式展开，并写成概率分布的期望形式。
[0067]
cyclegan，即循环生成对抗网络，一般用于图像风格迁移任务。以往gan都是单向生成，cyclegan为了突破对数据集图片一一对应的限制，采用了双向循环生成的结构，因此被命名为cyclegan。本发明采取cyclegan作为图像对齐模块的主网络是考虑到在跨模态医疗图像分割中没有一一对应两个模态的图像，这使得这个问题更加泛化。cyclegan是一个gan模型，通过判别器和生成器的对抗训练，学习数据集图片的像素概率分布来生成图片。要完成源域到目标域的图片风格迁移，就要求g络既要拟合目标域图片的风格分布，又要保持源域图片对应的内容特征。而由于送入cyclegan的两组(源域-目标域)图片没有一一对应关系。为此，cyclegan通过添加“循环生成”并优化一致性损失来限制生成器保有源域图片特征。这样就不需要训练集图片一一对应了。具体地，cyclegan将源域表示为x域，将目标域表示为y域，x到y的映射用函数g：x
→
y表示；y到x的映射用f：y
→
x表示。如附图3所示，g和f为生成对抗网络gan的两个生成器，同时g和f分别对应两个判别器d
x
和dy。d
x
用于区分其输入图像来自真实图像x还是f(x)；dy用于区分其输入图像来自真实图像y还是g(x)。本发明涉及的模型包含两个映射函数g：x
→
y和f：y
→
x，以及附带的两个对抗性判别器dy和d
x
。
[0068]
参阅图4，判别器dy鼓励g将x翻译成与域y风格无异的输出，反之判别器d
x
鼓励f将y
翻译成与域x风格无异的输出。为进一步规范映射，cyclegan引入了两个
″
循环一致性损失
″
，它反映了这样一种直觉：如果一张图像从一个域翻译到另一个域，然后再翻译回来，这张图像应该回到原点。其中，前向循环一致性损失和后向循环一致性损失分别为：x
→
g(x)
→
f(g(x)))≈x和y
→
f(y)
→
g(f(y)))≈y。
[0069]
cyclegan损失函数包含两个部分，第一部分是经典g络包含的对抗损失，第二部分是循环一致性损失，对应图4中x映射到再映射回的过程，也就是重构损失。对于经典的g络来说，生成器g输入噪声z并输出伪造样本g(z)，判别器d区分样本为真实数据还是伪造样本，其损失函数如下述(2)式：
[0070][0071]
cyclegan包含两个生成器g和f，对应两个判别器d
x
和dy，下面以生成器g和判别器dy进行分析(f和d
x
的原理与之相同)：cyclegan的生成器g的输入不再是噪声z，而是域x的图片x，生成器g的目标是其生成的样本g(x)和域y中的样本尽可能相似，判别器dy的输入有两种：域y的样本y和g(x)，判别器dy的优化目标是尽可能区分出y和g(x)，损失函数表达如下述(3)式：
[0072][0073]
同理，生成器f的目的是让其生成的样本f(y)和域x中的样本尽可能相似，判别器d
x
的输入有两种：域x的样本x和f(y)，判别器d
x
的优化目标是尽可能区分出x和f(y)，损失函数表达如下述(4)式：
[0074][0075]
尽管上述的对抗性损失能够让生成器g和生成器f学习到域y和域x的分布，但是却没有保证从x得到g(x)时图像的内容不变，因为g(x)只需要符合域y分布即可，并没有对其施加约束，所以x到g(x)包含很多种可能的映射。为此，cyclegan提出使用循环一致性损失来作为约束，使得g生成的g(x)在内容上仍然能和x保持一致。循环一致性的表述为：输入x到g得到伪造图像g(x)以后，再次将伪造图像送入生成器f获得重构图像f(g(x))，同时约束重构图像f(g(x))＝x，这就是所谓的循环一致性(同理，约束g(f(y))＝y)，损失函数表达如下述(5)式：
[0076][0077]
cyclegan的损失函数为对抗性损失和循环一致性损失的总和由下述(6)式：
[0078][0079]
其中，为λ为循环一致性损失和对抗性损失的权重比。
[0080]
2)基于深度学习的医学图像分割
[0081]
医学图像分割用于医学图像的分割、肝脏、皮肤病变、结肠组织学、肾脏、血管边界、肺部结节、前列腺等。医学图像分割作为一种新兴的生物医学图像处理技术，为可持续医疗做出了巨大贡献。现已成为图像处理和计算机视觉领域的一个重要的研究方向。图像分割结果直接影响着后续任务的有效性。图像分割的目的就是把目标从背景中提取出来，
分割过程主要是基于图像的固有特征，如灰度、纹理、对比度、亮度、彩特征等将图像分成具有各自特性的同质区域。近年来随着深度学习的发展，许多图像分割问题正在采用深层次的结构来解决，最常见的就是卷积神经网络(cnn)，它在精度上以及效率上大大超过了其他方法。
[0082]
本发明聚焦的主要是医学图像语义分割，即为图像中每个像素赋予一个指定的标签(像素级类别预测问题)。本发明使用的骨干分割网络是一种2d u-net的变体，它被命名为mu-net，(其结构如图6所示)。u-net是医学图像分割中最著名的网络结构之一，该模型建立在全卷机神经网络(fcn)优雅的架构之上，除了将fcn网络深度增加到19层之外，u-net还受益于网络不同阶段之间的跳跃连接(skip-connection)的优秀设计。它通过一些修改来克服本地化和上下文信息之间的权衡。由于大尺寸的patches需要更多的池化层，因此会降低定位精度，所以这种权重就会增加。另一方面，小尺寸的patches只能观察到很小的输入的上下文信息。该结构由分析和合成两部分组成。
[0083]
参阅图5，分析路径遵循cnn的结构，合成路径通常称为扩展路径，由上采样层和反卷积层组成。u-net最重要的特性是分析路径到扩展路径的等分辨率层之间的跳跃连接( skip-connection)。这些连接为反卷积层提供了基本的高分辨率特征。根据u-net的结构，它能够结合底层和高层的信息。底层(深层)信息：经过多次下采样后的低分辨率信息。能够提供分割目标在整个图像中上下文语义信息，可理解为反应目标和它的环境之间关系的特征。这个特征有助于物体的类别判断(所以分类问题通常只需要低分辨率/深层信息，不涉及多尺度融合)。高层(浅层)信息：经过concatenate操作从encoder直接传递到同高度decoder上的高分辨率信息。能够为分割提供更加精细的特征，如梯度等。u-net网络适合用于医学图像分割主要由于：(1)因为医学图像边界模糊、梯度复杂，需要较多的高分辨率信息，高分辨率用于精准分割。(2)人体内部结构相对固定，分割目标在人体图像中的分布很具有规律，语义简单明确，低分辨率信息能够提供这一信息，用于目标物体的识别。u-net结合了低分辨率信息(提供物体类别识别依据)和高分辨率信息(提供精准分割定位依据)，完美适用于医学图像分割。
[0084]
参阅图6，本发明使用组卷积(grouped convolution)对2d u-net网络进行了改动，并将其命名为mu-net，mu-net是特征对齐模块的骨干网络。目的是使其在输出预测分割掩码的同时也能够输出不确定性图(uncertainty map)。一个n组卷积层将输入的特征图(feature map)沿通道维度分成n组，每个组的卷积核形状设为c0×ci
×h×
w对于每个组，其中h
×
w是卷积核的空间大小。因此可以得到n组独立的通道数为c0的特征图(feature map)。它们被串联成一个具有n
×co
的单一通道的特征图。请注意，在n组卷积层的输出特征图中，不同组之间没有关联性。同样地，模型通过转置的n组卷积实现上采样层，并将标准的通道连接扩展为组间连接，以保持n组之间的特征图之间的独立性。让f1和f2分别表示两个各有n个组的特征图。模型首先将f1的第3个组与f2的第3个组连接起来，并将结果记为然后，被级联起来，作为f1和f2的分组连接(如图6所示)。分组连接用于编码器中的特征图与解码器中的特征图之间的跳转连接。在解码器的最后一层，模型对每个特征组分别应用softtmax函数，得到n个概率预测。因此，mu-net可以被看作是n个平行子网络的集合，它们被随机初始化，并通过dropout训练来获得多样性。在mu-net的最低分辨率水平上，组
数被设置为1，以允许子网络之间进行通信，从而获得更好的性能。
[0085]
3)域偏移问题
[0086]
卷积神经网络(cnns)在医学图像分割领域虽然取得了一定的成功，但这需要大量可获得的医学图像标注。然而众所周知，医学标注是昂贵的，且在一种模态上训练的模型应用到另一种模态上时会出现明显的域偏移，根据mr数据训练的cnn在ct图像上测试时完全失败。为了恢复模型性能，一种简单的方法是使用来自目标域的附加标记数据重新训练或微调模型。然而，对每个新域的数据进行注释显然是非常昂贵的，特别是在需要专业知识的医学领域。为了解决这个问题，无监督域自适应已被深入研究，以使cnns能够在仅使用来自源域的注释，在未标记的目标数据上实现有竞争力的性能。先前的工作主要从两个方向处理域偏移(domain shift)。一是图像自适应(image adaptation)，通过将域之间的图像外观与像素到像素的变换对齐。通过这种方式，域偏移在cnns的输入级别上进行处理。为了在原始图像中保留像素级内容，自适应过程通常由cyclegan中的循环一致性约束引导。通常，转换后的类源图像(source-like images)可以通过预先训练的源模型直接测试；或者，生成的类似目标的图像可用于在目标域中训练模型。尽管合成图像仍然不能完美地模拟实图像的外观，但是图像自适应过程在目标图像上带来精确的像素。另一个用于无监督域自适应的是特征自适应(feature adaption)，其目的是使用cnn提取域不变特征(domain invariant features)，而不考虑输入域之间的外观差异。大多数方法在对抗性学习场景中区分源/目标域的特征分布。此外，考虑到平面特征空间的高维性，也可以把判别器连接到更紧凑的空间，如语义预测空间或图像空间。前者分割掩码直接输入到判别器，以便监督来自语义预测空间；后者将特征重建为图像，并在重建图像空间中放置判别器。对于cnns来说，图像和特征自适应从不同角度解决域位移，实际上是互补的。将这两种自适应策略结合起来实现更强大的域自适应技术正在探索进程中。这两类方法可以在一个统一的框架内执行。即首先通过图像变换，将源图像变换为目标域的外观；然后，可以使用特征自适应来进一步解决合成目标类图像和真实目标图像之间的差距。相似地，在图像层自适应方面，本发明改进了cyclegan使其能够生成更加逼真的类源图像。在特征自适应方面，本发明也将高维的特征空间投影到两个紧凑空间，即不确定性估计空间和语义预测空间，并通过在这两个紧凑空间中连接两个判别器来更有效地执行特征对齐。
[0087]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0088]
实施例1
[0089]
参阅图1，采用一致性正则化和不确定性估计来增强源模态和目标模态之间的图像对齐和特征对齐，以及不确定性估计来增强源模态和目标模态之间的图像对齐和特征对齐，利用cyclegan将源域图像转换为和目标域更相似的中间数据集，以及分割器和域分类器对抗训练，提取域不变的特征，实现跨模态的无监督域自适应医学图像分割，具体包括如下步骤：
[0090]
步骤一：数据预处理
[0091]
将获取的多模态医学分割数据集进行数据预处理，得到训练集和测试集，所述训练集中包含源图像xs，及其对应的标签ys和无标注的目标图像集合x
t
。
[0092]
步骤二：迭代训练和参数更新
[0093]
将训练集输入至无监督域自适应分割网络中进行迭代训练，根据损失函数计算梯度，对无监督域自适应分割网络执行参数更新。
[0094]
步骤三：分割模型的获取
[0095]
迭代训练完成后保留无监督域自适应分割网络中生成器、共享编码器和分类器的权重，得到具有最优权重参数的分割模型。
[0096]
步骤四：分割结果的获取
[0097]
将待测试图像输入至最优权重参数的分割模型中，得到医学图像分割结果。
[0098]
步骤五：分割结果的评价
[0099]
对上述医学图像分割结果应用重合度系数和平均表面距离进行评价。
[0100]
参阅图2，cruea框架的概述：生成器g
t
执行源到目标图像的外观变换，在图像级别将源域图像转化到接近目标域的图像。分割网络包含一个共享的编码器e和不确定性估计器u用以估计不确定性图和一个分类器c用以给出分割掩码，在不确定性估计空间和特征预测空间进行对抗学习，使模型能够生成域不变的特征。判别器d
t
，du，d
p
努力区分合成图像和真实图像。蓝和紫的箭头分别代表源模式(ct)和目标模式(mri)的数据流，基于一致性正则化和不确定性估计的无监督跨模态医学图像分割按下述步骤进行：
[0101]
步骤s1、选取数据集
[0102]
以2017年多模态全心脏分割挑战赛数据集为例(multi-modality whole heart segmentation challenge 2017(mmwhs)。该数据集由不同临床机构采集的未配对的20个mr volumes和20个ct volume组成。它提供了7个心脏结构的真实分割掩码，包括肺动脉(pa)、右心房血腔(rac)、右心室血腔(rvc)、升主动脉(aa)、左心房血腔(lac)、左心室血腔(lvc)和左心室的心肌(myo)。采用mr图像作为源域，把ct图像当作目标域。目标是在跨模态学习的背景下，即在mr图像和标签以及纯ct图像的联合训练下得到能够精准分割ct图像的模型。
[0103]
步骤s2、训练测试划分
[0104]
每种模态的训练测试比例都是8∶2。ct图像的标注结果仅仅用于评估，不在训练阶段放入网络；mr图像作为源域数据，它的真实掩码提供给网络训练。
[0105]
步骤s3、数据集预处理
[0106]
所有的模态数据都被规范化为零均值和单位方差。本发明使用了冠状面的图像切片(image slices)，这些图像切片被裁剪成256
×
256的大小，并通过旋转、缩放和仿射变换来执行数据增强以减少过拟合。
[0107]
步骤s4、配置网络
[0108]
参阅图3，对于生成器{g
t
，gs}网络，它们分别由3个卷积层、9个残差连接模块和2个反卷积层组成，最后使用一个卷积层把特征映射图像。对于整个生成网络使用实例归一化。而对于判别器{d
t
，ds}，使用5个卷积核大小为4
×
4，步长为2的卷积层。最后两个卷机层的步长设置为1。在前四层中，每个卷积层后都连接一个实例归一化层和一个leaky relu激活函
数。最后一层卷积将特征图映射为70
×
70的矩阵，70
×
70矩阵中每个点(true or false)即代表原始图像中的一块小区域的评价值。编码器e通过本发明设计的mu-net实现(如图6所示)，它一共包含了5个卷积层和4个上采样层。其中前4个卷积层和与之对应的上采样层均有跨层连接。每个卷积层都是由组卷积(grouped convolution)构成。其中，组卷积的组数n被设置为4，卷积核的输出通道数co被设置为16。每个卷积操作都连接一个批量归一化层和一个relu激活函数。分类器c和不确定估计器u都是1
×
1的卷积层，然后是上采样层(up-sampling layer)，以将分割预测的分辨率恢复至原始图像大小。
[0109]
步骤s5、训练网络
[0110]
参阅图4～图6，cruea的网络训练主要是更新图像对齐模块和特征对齐模块参数，其具体实施过程如下：
[0111]
步骤s51、将预处理好的源域图像和目标域图像都输入到cyclegan中训练，更新图像对齐模块的参数。g
t
首先更新以将源域图像转化到类目标图像，d
t
更新以区分类目标图像和真实目标图像。然后gs更新以将目标图像转换为类源图像，ds更新以区分类源图像和真实的源图像。最后更新{gs，ds}让源域图像既保持视觉外观和目标图像相似(类似于风格转换)，又保证原始的内容不受影响(转化后的图像内容可识别)。
[0112]
步骤s52、保持{d
t
，gs，ds}参数固定，将上一步得到的(更逼近目标域分布的)类目标图像和真实目标图像都输入到编码器中。更新编码器e以从类目标图像和真实目标图像中提取域不变特征，然后更新分类器c和不确定性估计器u，将提取的特征用于预测分割掩码和生成不确定性图像。最后更新判别器d
p
，根据预测的分割掩码判断特征属于源域或目标域，然后更新du，根据生成的不确定性图像判断特征是属于源域或目标域。通过优化函数的对抗训练和梯度的反向传播，目标图像生成器g
t
和共享编码器e的参数被更新，源域和目标域的数据分布被拉近。迭代多次直至提取出两个源域和目标域图像间最大的公共特征，即域不变的特征。
[0113]
步骤s6、部署使用
[0114]
对于训练好的模型，模型只保留目标图像生成器g
t
、共享编码器e和分类器c，并丢弃其他的模型组件。给定一张mri图像xs，模型首先将其输入到目标图像生成器g
t
，将其转换为类目标图像xs→
t
，然后输入到共享编码器e提取域不变的特征，最后特征被输入到分类器c中以输出分割掩码而对于一张ct图像x
t
，直接将它输入到共享编码器e中，随后将得到的特征馈送到分类器c以输出分割掩码
[0115]
步骤s7、模型评估
[0116]
为评估模型效果，模型使用了两个常用的度量来定量评价分割性能，其中一个度量是dice系数(％)，用来评估预测掩码和标注结果的重叠量。另一种是平均表面距离asd(voxel)来评估模型在边界处的性能，较低的asd表明分割效果较好。本实施例与其他无监督域自适应方法在心脏跨模态分割任务中的性能比较，其对比结果详见下表1：
[0117]
表1：每一个心脏结构dice和asd的值和七个结构的平均值
[0118][0119]
上述表1报告了对比结果，可以看到本发明所提出的方法cruea在无自适应下界上显著地提高了分割性能，并且在dice和asd方面大大超过以前的方法。没有域自适应时，该模型在七个心脏结构上仅获得22.9％的平均dice，表明mr和ct图像间严重的域偏移。值得注意的是，本发明所提出的方法可以使平均dice恢复到80.3％，平均asd下降到7.3。且cruea能将aa(升主动脉)结构的dice评分提升到84％以上，lac(左心房血腔)和lvc(左心室血腔)提升到75％以上，显著优于其他的域自适应方法。
[0120]
由此可见，本发明提出的方法能够有效地提高无标记目标图像的分割性能，并和同类方法相比时有较强的竞争性。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

技术特征：

1.一种跨模态的无监督域自适应医学图像分割方法，其特征在于，采用一致性正则化和不确定性估计来增强源模态和目标模态之间的图像对齐和特征对齐，实现跨模态的无监督域自适应医学图像分割，具体包括如下步骤：步骤一：数据预处理将获取的多模态医学分割数据集进行数据预处理，得到训练集和测试集，所述训练集中包含源图像x
s
，及其对应的标签y
s
和无标注的目标图像集合x
t
；步骤二：迭代训练和参数更新将训练集输入至无监督域自适应分割网络中进行迭代训练，根据损失函数计算梯度，对无监督域自适应分割网络执行参数更新；步骤三：分割模型的获取迭代训练完成后保留无监督域自适应分割网络中生成器、共享编码器和分类器的权重，得到具有最优权重参数的分割模型；步骤四：分割结果的获取将待测试图像输入至最优权重参数的分割模型中，得到医学图像分割结果；步骤五：分割结果的评价对上述医学图像分割结果应用重合度系数和平均表面距离进行评价。2.根据权利要求1所述跨模态的无监督域自适应医学图像分割方法，其特征在于，所述数据预处理包括：裁剪、旋转和归一化。3.根据权利要求1所述跨模态的的无监督域自适应医学图像分割方法，其特征在于，所述无监督域自适应分割网络为正向生成器g
t
、反向生成器g
s
、正向判别器d
t
、反向判别器d
s
、共享编码器e、不确定性估计器u和分类器c组成，其具体工作如下述步骤：1)将训练集中的源域图像x
s
输入至正向生成器g
t
，转换得到类目标域图像x
s
→
t
，正向判别器d
t
与正向生成器g
t
竞争，通过判别正向损失的优化，判别输入的是类目标域图像x
s
→
t
和真正的目标域图像x
t
，所述正向损失由下述(a)式表示为：其中，x
s
表示为源域图像；x
t
表示为目标域图像；表示从源域图像的集合中采样计算得到的期望；表示从目标域图像的集合中采样计算得到的期望；2)将上述类目标图像x
s
→
t
和训练集中的目标图像x
t
分别输入至反向生成器g
s
，反向判别器d
s
与反向生成器g
s
竞争，通过判别反向损失的优化，判别出输入的是类目标图像x
s
→
t
还是真正的目标图像x
t
，所述反向损失由下述(b)式表示为：其中，x
s
→
t
表示为由源域图像转化得到的类目标图像；x
t
表示为目标域图像；表示从目标域图像的集合中采样计算得到的期望；表示从类目标图像集合中采样计算得到的期望；3)对反向生成器g
s
施加循环一致性损失其具体形式由下述(c)式表示为：其中，x
s
表示为源域图像；x
t
表示为目标域图像；表示从源域图像的集合中采样计
算得到的期望；表示从目标域图像集合中采样计算得到的期望；4)将类目标域图像x
s
→
t
和目标域图像x
t
输入至共享编码器e中提取特征，并将提取的特征输入至不确定性估计器u和分类器c；5)将共享编码器e与分类器c构成分割网络，利用分割损失进行优化分割网络，并最终负责预测x
s
→
t
和x
t
的分割掩码，掩码判别器d
p
通过掩码判别损失区分掩码是来自于目标域还是源域，所述掩码损的形式由下述(d)式表示为：其中，x
s
→
t
表示为由源域图像转化得到的类目标域图像，x
t
表示为目标域图像，表示从目标域图像集合中采样计算得到的期望；表示从类目标图像集合中采样计算得到的期望；6)将共享编码器e与不确定性估计器u构成不确定性估计网络，利用最小化不确定性图的熵来优化不确定性估计网络；输出x
s
→
t
和x
t
的不确定性图，判别器d
p
通过不确定性图判别损失区分不确定性图是来自于目标域还是源域，所述不确定性图判别损失的形式由下述(e)式表示为：其中，x
s
→
t
表示为由源域图像转化得到的类目标图像；x
t
表示为目标域图像；表示从目标域图像的集合中采样计算得到的期望；表示从类目标图像集合中采样计算得到的期望。4.根据权利要求1所述跨模态的的无监督域自适应医学图像分割方法，其特征在于，所述迭代训练过程具体如下：1)更新无监督域自适应分割网络框架中的图像适应模块正向生成器g
t
的更新是将源域图像x
s
转化到类目标域图像x
s
→
t
；正向生成器d
t
的更新以区分类目标图像x
s
→
t
和目标图像x
t
；反向生成器g
s
的更新是将真实目标图像x
t
转换为类源图像；反向生成器d
s
更新以区分类源图像x
t
→
s
和真实的源域图像x
s
；更新{g
s
，d
s
}让源域图像x
s
保持视觉外观和目标图像x
t
相似，以及转化后的图像内容可识别；2)保持cruea框架中{d
t
，g
s
，d
s
}这三个组件的参数固定，更新共享编码器e以从类目标图像x
s
→
t
和真实的目标图像x
t
中提取特征，然后更新分类器c和不确定性估计器u，将提取的特征用于语义分割和生成不确定性图像；3)更新掩码判别器d
p
和不确定性判别器d
u
，对输入域进行分类；所述迭代训练的目标由下述(f)式表示为：其中，表示x
s
→
t
和x
t
之间的判别损失；表示是x
s
和x
t
→
s
之间的判别损失；表示循环一致性损失；表示增强一致性损失；表示分割结果p
s
→
t
和p
t
之间的判别损失；表示目标数据的分割损失；表示不确定图u
s
→
t
和u
t
之间的判别损失；表示不确定图的最小化熵损失。
5.根据权利要求1所述跨模态的的无监督域自适应医学图像分割方法，其特征在于，所述重合度系数dsc由下述(g)式定义为：其中，a代表预测区域；b代表ground-truth区域。6.根据权利要求1所述跨模态的的无监督域自适应医学图像分割方法，其特征在于，所述平均表面距离由下述(h)式定义为：其中，a和b分别表示3d预测结果和真实值；s(
·
)表示3d表面中的体素集；)表示3d表面中的体素集；表示任意体素a到b的最短距离。

技术总结

本发明公开了一种跨模态的无监督域自适应医学图像分割方法，其特点是采用一致性正则化和不确定性估计来增强源模态和目标模态之间的图像对齐和特征对齐，实现跨模态的无监督域自适应医学图像分割，具体包括：1）数据预处理；2）迭代训练和参数更新；3）分割模型的获取；4）分割结果的获取；5）分割结果的评价等步骤。本发明与现有技术相比具有在不使用任何目标域标注的情况下可以学习到两个模态间共有的特征，并且在源模态和目标模态图像上都有较好的分割效果，有效解决了医学图像中的域迁移问题，使预测的分割图更加鲁棒，更具保真度。更具保真度。更具保真度。