一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法
本发明涉及医学影像处理，更具体地，涉及一种纵向胸腔影像合成方法。
背景技术：
1、随着医疗技术的不断进步和人们健康意识的提高，医疗保健领域对疾病的早期检测和医学影像分析的需求日益增加。在这种情况下，纵向图像数据的重要性逐渐凸显，因为它能够展示疾病的发展原因和影响的时间顺序。
2、然而，纵向图像数据的收集和利用面临一系列挑战，技术障碍尤其显著，特别是在解读和分析数据时，例如识别放射影像的微小变化，需要具备专业的医学知识。
3、随着生成式人工智能逐渐引起人们的关注，基于生成对抗网络(gan)的方法在自然图像和医学影像的多个领域取得了显著成功，尤其是在生成和编辑图像方面。然而，它们在医学影像中用于局部病变检测的应用仍然是一个积极研究的领域。合成放射线图像的主要挑战之一是病变的微妙性，这使得从非病变背景中提取疾病特异性细节变得复杂，导致非病变区域发生意外的改变。
4、多伦多大学的m.yang等人在论文《在生成模型中以掩码为引导发现语义流形》中提出了一种基于掩码引导的优化方法，用于学习stylegan2模型中的语义流形。该方法仅在掩码区域内发生变化，而其余区域保持不变。然而，该方法受限于局部控制的不足，无法实现更为精细的局部控制，同时其可解释性也相对较弱。此外，目前现有的可控图像合成方法通常根据输入产生单个输出图像，这无法捕获有关疾病随时间进展的重要信息。因此，能够在局部编辑具有疾病感知内容的图像并生成一系列反映疾病进展趋势的图像，是一个重要且尚未解决的问题。
技术实现思路
1、本发明的目的是克服现有技术存在的合成纵向图像数据方法中局部控制不够精细，合成纵向图像数据时不平滑、不连续的缺陷，提供一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法。
2、为实现上述目的，本发明的技术方案如下：
3、本发明提供一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，包括以下步骤：
4、获取人体胸腔x光数据集，选择其中只含正常类别和某种特定疾病类型的样本作为训练数据集；
5、使用所述训练数据集训练生成对抗网络gan模型，划分gan的生成图像的局部感兴趣区域roi，建立潜在向量和所述roi区域之间的连接link-lr；
6、基于所述连接link-lr，预训练gan模型；
7、对所述预训练的gan模型进行主成分分析，手动选择与特定疾病最相关的特征方向；
8、利用所述特征方向引导潜在向量优化，并施加约束项限制相邻潜在向量之间的距离，输出合成的纵向图像序列。
9、进一步地，所述潜在向量和roi区域之间的连接link-lr具体为：
10、生成对抗网络gan的生成器以z～p(z)作为输入，将所述输入从d维潜在空间映射到高维图像空间x，生成输出图像x＝g(z)，其中，z代表输入的潜在向量，x代表生成图片；
11、将生成图片的局部感兴趣区域roi中的像素定义为vi，其他不相关的像素定义为vir，划分gan的潜在空间，提取一部分子空间并将其定义为zi，剩余部分定义为zir，对zi引入扰动pi＝[0,..,0,pi,0,...,0]，得到扰动图像：
12、△x＝g(z+αpi)
13、引入损失函数进行约束且令损失函数的值尽可能小以建立潜在向量和roi区域之间的连接link-lr，所述损失函数表达式为：
14、
15、其中，mir是用户定义的不感兴趣像素区域vir的二元掩模,即只在vir像素区域值为1，而在vi像素区域内值为0，表示加入扰动pi后对不相关区域vir的影响程度，||·||2表示范数。
16、进一步地，所述扰动pi的值是从标准高斯分布n～(0,1)中采样得到的，所述扰动pi仅在wi内具有非零值，而在其它地方为零，用于对roi区域vi施加控制的同时尽量减少对vir的影响。
17、进一步地，所述基于所述连接link-lr，预训练gan模型的训练过程中，使用优化器进行迭代训练。
18、进一步地，所述对预训练的gan模型进行主成分分析，手动选择与特定疾病最相关的特征方向的步骤具体为：
19、对所述预训练的gan模型的潜在空间进行主成分分析pca，解耦潜在空间内的病变感知语义信息并在对应不同语义特征的方向中识别出主要的变化方向；
20、手动选择与特定疾病最相关，导致最显著的特征变化的主成分方向并记为n，将预训练的gan模型的潜在向量表示为zl，将zl中要优化的潜在向量表示为zli，zl和zli之间的差记为ni，
21、
22、选择最相关的主成分方向后，最小化以下损失函数：
23、
24、其中，n是手动选择的主成分方向，θ′是可调节的容差参数。
25、进一步地，所述利用所述特征方向引导潜在向量优化即引导向量zli沿着特定方向n的轨迹进行优化，以对生成图像进行语义控制，从而确保合成的纵向图像序列表现出与特定疾病相关的特征。
26、进一步地，所述施加约束项具体为：
27、定义约束项为：
28、
29、其中，zli和zl(i+k)为要优化的相邻潜在向量，k表示相邻潜在向量之间的间隔，dmax是允许的最大距离；
30、最小化约束项，并在利用所述特征方向引导潜在向量优化时施加最小化的约束项以保证潜在向量之间的变化平滑一致。
31、进一步地，所述最小化约束项即计算当k等于1和2时的约束项。
32、进一步地，在所述输出合成的纵向图像序列后，还包括分割验证步骤：
33、预设参数并利用所述预设参数来分析所述纵向图像序列与训练数据集中的原始图像之间的像素级差异；
34、差异低于预设的参数的区域被视为潜在背景模式，高于预设的参数的区域则显示出潜在的异常和病理变化；
35、将这些结果与医学专家的标注结果进行对比，验证所述基于局部疾病语义引导编辑的纵向胸腔影像合成方法在局部控制生成胸部x射线图像方面的有效性和实用价值。
36、进一步地，在所述输出合成的纵向图像序列后，还包括ai模型验证步骤：
37、将所述纵向图像序列输入到现有的医学多模态模型中，进行疾病类型、病变区域和严重程度的诊断，以验证所述基于局部疾病语义引导编辑的纵向胸腔影像合成方法所生成的纵向图像序列数据的真实性和可靠性。
38、与现有技术相比，本发明的有益效果如下：
39、本发明通过在潜在向量和roi像素区域之间建立了一种新颖的连接机制，能够对图像特定病灶区域精细地进行局部控制，通过在潜在空间中引入针对性的扰动，同时，利用主成分分析识别主要的语义方向并在图像生成过程中，手动选择与特定疾病最相关的方向来引导图像生成，在相邻潜在向量之间引入约束项，使生成的纵向图像序列能够平滑、连续变化，确保在保持图像其他部分不变的情况下，精确地调整roi区域的像素值，提高了图像编辑的准确性，还使生成的图像更加自然和真实。
技术特征：
1.一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，所述潜在向量和roi区域之间的连接link-lr具体为：
3.根据权利要求2所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，所述扰动pi的值是从标准高斯分布n～(0,1)中采样得到的，所述扰动pi仅在wi内具有非零值，而在其它地方为零，用于对roi区域vi施加控制的同时尽量减少对vir的影响。
4.根据权利要求1所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，所述基于所述连接link-lr，预训练gan模型的训练过程中，使用优化器进行迭代训练。
5.根据权利要求1所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，所述对预训练的gan模型进行主成分分析，手动选择与特定疾病最相关的特征方向的步骤具体为：
6.根据权利要求1或5任一项所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，利用所述特征方向引导潜在向量优化即引导向量zli沿着特定方向n的轨迹进行优化，对生成图像进行语义控制，确保合成的纵向图像序列表现出与特定疾病相关的特征。
7.根据权利要求1所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，所述施加约束项具体为：
8.根据权利要求7所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，所述最小化约束项即计算当k等于1和2时的约束项。
9.根据权利要求1所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，在所述输出合成的纵向图像序列后，还包括分割验证步骤：
10.根据权利要求1所述的一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，其特征在于，在所述输出合成的纵向图像序列后，还包括ai模型验证步骤：将所述纵向图像序列输入到现有的医学多模态模型中，进行疾病类型、病变区域和严重程度的诊断，以验证所述基于局部疾病语义引导编辑的纵向胸腔影像合成方法所生成的纵向图像序列数据的真实性和可靠性。
技术总结
本发明公开了一种基于局部疾病语义引导编辑的纵向胸腔影像合成方法，涉及医学影像处理技术领域，所述方法包括：选择胸腔X光数据集中只含正常类别和特定疾病类型的样本作为训练数据集并训练GAN模型，划分GAN模型生成图像的局部感兴趣区域ROI，建立潜在向量和ROI之间的连接，基于连接预训练GAN模型并进行主成分分析，手动选择与特定疾病最相关的特征方向，利用该特征方向引导潜在向量优化，施加约束项限制相邻潜在向量之间的距离，输出纵向图像序列。本发明通过上述技术特征能够精细地进行局部控制，使生成的纵向图像序列能够平滑、连续变化，提高了图像编辑的准确性，使生成的图像更加自然和真实。
技术研发人员：曹乐萱,卢永毅,施煜锴,黄雄峰,钟海强,杨志景
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/12/5