结合医学大模型辅助和多模态影像融合的癌症预后预测方法和系统

本发明属于癌症预后预测的，具体涉及一种结合医学大模型辅助和多模态影像融合的癌症预后预测方法和系统。

背景技术：

1、恶性肿瘤是一类常见且多样的疾病，占所有癌症病例的绝大多数。恶性肿瘤具有高度异质性，不同患者在肿瘤生物学、基因突变和对治疗的反应等方面存在显著差异，这使得恶性肿瘤的治疗效果欠佳，同时对恶性肿瘤治疗效果的准确预测也极为复杂和困难。对于晚期恶性肿瘤患者，即使在接受了化疗等治疗后，其中位生存期仍然较短，现有治疗手段在改善晚期患者预后方面的效果有限。尽管当前有多种治疗方法可供选择，如靶向治疗、免疫治疗、抗体药物偶联物治疗等，但如何正确地选择治疗策略仍是一个亟待解决的问题。

2、近年来，医学影像技术，特别是pet/ct影像，在恶性肿瘤的诊断、分期和预后评估中发挥了重要作用。pet影像(正电子发射断层扫描)能够提供肿瘤的代谢活动信息，ct影像(计算机断层扫描)则提供了精确的解剖结构信息，简单地将两种图像叠加并不能充分利用其各自的优势。如何有效地融合pet和ct图像中的信息，以提高恶性肿瘤预后预测的准确性和可靠性，用于治疗方案的选择是一个重要的研究问题。

3、参考文献1(samuel h.hawkins，john n.korecki.predicting outcomesof non-small cell lung cancer using ct image features.ieee access，2，1418-1426，2014，doi：10.1109/access.2014.2373335)公开了一种基于深度学习的恶性肿瘤预后预测的方法，具体通过手动分割结合区域生长算法的方式获取恶性肿瘤ct影像数据，借助深度学习实现治疗效果预测。该方法仅依靠ct影像数据，没有将pet/ct影像信息深度融合，无法做到预后效果的准确预测；参考文献2(wei mu，matthew b.schabath.non-invasivedecisionsupport for nsclc treatment using pet/ct radiomics，nature communications，11，5228，2020，doi：10.1038/s41467-020-19116-x)公开了一种基于深度学习srescnn模型的恶性肿瘤预后预测的方法，具体通过手动分割的方式获取肿瘤切片，构建三通道超图像和α融合的pct/ct图像，输入srescnn模型，egfr突变状态(阳性或阴性)即深度学习分数(egfr-dls)作为分类结果，表示egfr突变阳性概率。通过对有效切片的egfr-dls进行平均，获得了患者的egfr突变阳性概率，进行恶性肿瘤预后预测。该方法虽然基于深度学习模型对pet/ct进行深度融合，但是肿瘤切片影像的获取依赖医生手动分割获得病灶区域，工作量巨大。

技术实现思路

1、本发明目的是提供一种结合医学大模型辅助和多模态影像融合的癌症预后预测方法和系统，用以解决手动分割获取病灶区域工作量巨大和未将pet/ct深度融合，无法做到预后效果的准确预测的技术问题。

2、为实现上述发明目的，实施例提供的一种结合医学大模型辅助和多模态影像融合的癌症预后预测方法和系统，包括基于医学大模型medsam的辅助处理单元和基于多模态影像融合的癌症预后预测模型。

3、在一个实施例中，所述基于医学大模型medsam的辅助处理单元用于分别对初始pet切片和初始ct切片依次进行基于医学大模型medsam的辅助分割、重采样、最小包络矩形选择、矩形膨胀得到pet肿瘤切片和ct肿瘤切片，对pet肿瘤切片和ct肿瘤切片进行融合得到融合切片。

4、在一个实施例中，所述基于多模态影像融合的癌症预后预测模型用于对pet肿瘤切片、ct肿瘤切片、融合切片这三个模态进行特征提取，对提取特征进行特征融合得到融合特征，对融合特征进行预测得到癌症预后预测结果。

5、在一个实施例中，所述基于医学大模型medsam的辅助分割，包括：医学大模型medsam辅助勾画出输入切片中医生初始标记区域内肿瘤边界的掩码，实现辅助分割，为后续处理提供可靠的基础数据；

6、所述基于重采样，包括：采用立方插值重采样方法对辅助分割后带有肿瘤边界掩码的医生初始标记区域进行立方插值重采样，将像素大小统一为1立方毫米。重采样用于标准化不同样本的分辨率，消除因设备和扫描参数不同带来的差异，从而保证数据的一致性和可比性；

7、所述基于最小包络矩形选择，包括：根据重采样后的带有肿瘤边界掩码，选出能完全包络带有肿瘤边界掩码的最小矩形，用以去除不必要的信息，集中关注肿瘤区域；

8、所述基于矩形膨胀，包括：矩形膨胀对最小包络矩形选择后的掩码的宽高膨胀20mm，再将膨胀后的掩码尺寸调整成64×64。用以在保留肿瘤区域的基础上，包含肿瘤周边区块的组织信息，有助于癌症预后预测模型更全面地学习肿瘤和肿瘤周边区块的组织信息的特征，进而提高癌症预后预测结果的准确性；

9、所述基于融合对pet肿瘤切片和ct肿瘤切片进行融合得到融合切片，包括：采用α融合方式进行融合：

10、fusion_img＝ct×α+pet×(1-α)

11、其中，α表示融合因子，ct表示ct肿瘤切片，pet表示pet肿瘤切片，fusion_img表示融合切片；

12、通过α融合方式，将pet/ct肿瘤切片的两种模态信息初步融合在一起，利用每种模态的优势，提供更加全面和细致的融合切片信息，增强模型对肿瘤切片特征的识别能力。

13、在一个实施例中，所述的癌症预后预测模型包括：初始特征提取模块、一级特征融合模块、二级特征提取模块、二级特征融合模块、以及预测模块；

14、在一个实施例中，所述初始特征提取模块用于分别对pet肿瘤切片、ct肿瘤切片、以及融合切片进行多尺度特征提取得到每类切片的初始特征；

15、在一个实施例中，所述一级特征融合模块用于采用压缩多头注意力机制对三类切片的初始特征进行特征融合，具体包括：对pet肿瘤切片和的ct肿瘤切片初始特征分别进行压缩自注意力机制得到两类肿瘤切片各自的一级自注意力特征，再将两类肿瘤切片各自的一级自注意力特征分别与融合切片的初始特征进行压缩交叉注意力机制得到两类肿瘤切片各自的一级交叉注意力特征，最后将两类肿瘤切片各自的一级交叉注意力特征与融合切片的初始特征进行拼接后经过通道减少的卷积压缩得到融合切片的一级融合特征；

16、所述二级特征提取模块用于分别对两类肿瘤切片各自的自注意力特征和融合切片的一级融合特征进行特征提取得到每类切片的二级特征；

17、所述二级特征融合模块用于采用压缩多头注意力机制对三类切片的二级特征进行特征融合，具体包括：对pet肿瘤切片和的ct肿瘤切片二级特征分别进行压缩自注意力机制得到两类肿瘤切片各自的二级自注意力特征，再将两类肿瘤切片各自的二级自注意力特征分别与融合切片的二级特征进行压缩交叉注意力机制得到两类肿瘤切片各自的二级交叉注意力特征，最后将两类肿瘤切片各自的二级交叉注意力特征与融合切片的二级特征进行拼接后经过通道减少的卷积压缩得到融合切片的二级融合特征。

18、所述预测模块基于二级融合特征进行癌症预后预测得到癌症预后预测结果。

19、在一个实施例中，所述的压缩自注意力机制中，以肿瘤切片的输入特征分别作为查询特征和键值特征，压缩查询特征的空间或通道维度后进行自注意力机制计算。

20、在一个实施例中，所述的压缩交叉注意力机制中，以肿瘤切片的输入自注意力特征作为查询特征，以融合切片的输入特征作为键值特征，压缩查询特征的空间或通道维度后进行交叉注意力机制计算。

21、在一个实施例中，所述的压缩自注意力机制中和压缩交叉注意力机制中，通过平均池化层来压缩查询特征的空间，通过卷积层压缩查询特征的通道数。

22、在一个实施例中，所述的初始特征提取模块和所述的二级特征提取模块均采用resnet50进行特征提取。

23、在一个实施例中，利用基于医学大模型medsam的辅助处理单元分别对初始pet切片和初始ct切片依次进行基于医学大模型medsam的辅助分割、重采样、最小包络矩形选择、矩形膨胀得到pet肿瘤切片和ct肿瘤切片，对pet肿瘤切片和ct肿瘤切片进行融合得到融合切片；

24、利用基于多模态影像融合的癌症预后预测模型对pet肿瘤切片、ct肿瘤切片、以及融合切片这三个模态进行特征提取，对提取特征进行特征融合得到融合特征，对融合特征进行预测得到癌症预后预测结果。

25、与现有技术相比，本发明具有的有益效果至少包括：

26、本发明采用医学大模型medsam的辅助分割，相比于现有的手动分割，减少了医生确定病灶区域的工作量，优化肿瘤切片数据的可用性，在此基础上，依次重采样、最小包络矩形选择、以及矩形膨胀来得到pet肿瘤切片和ct肿瘤切片，并对pet肿瘤切片和ct肿瘤切片进行融合得到融合切片，这样得到三个模态的切片能够确保后续分析的准确性和可靠性；本发明利用基于多模态影像融合的癌症预后预测模型来有效地整合多模态切片后进行癌症预后预测，来提升癌症预后预测结果的准确性，同时癌症预后预测结果可以用来指导医生进行癌症治疗方案的选择。

技术特征：

1.一种结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，包括基于医学大模型medsam的辅助处理单元和基于多模态影像融合的癌症预后预测模型；

2.根据权利要求1所述的结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，所述的基于医学大模型medsam的辅助分割，包括：医学大模型medsam辅助勾画出输入切片中医生初始标记区域内肿瘤边界的掩码，实现辅助分割。

3.根据权利要求1所述的结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，所述的重采样采用立方插值重采样方法，包括，对辅助分割后结果就进行立方插值重采样，以实现像素大小统一。

4.根据权利要求1所述的结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，所述的对pet肿瘤切片和ct肿瘤切片进行融合得到融合切片，包括：采用α融合方式进行融合：

5.根据权利要求1所述的结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，所述的癌症预后预测模型包括：初始特征提取模块、一级特征融合模块、二级特征提取模块、二级特征融合模块、以及预测模块；

6.根据权利要求5所述的结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，所述的压缩自注意力机制中，以肿瘤切片的输入特征分别作为查询特征和键值特征，压缩查询特征的空间或通道维度后进行自注意力机制计算。

7.根据权利要求5所述的结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，所述的压缩交叉注意力机制中，以肿瘤切片的输入自注意力特征作为查询特征，以融合切片的输入特征作为键值特征，压缩查询特征的空间或通道维度后进行交叉注意力机制计算。

8.根据权利要求6或7所述的结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，所述的压缩自注意力机制中和压缩交叉注意力机制中，通过平均池化层来压缩查询特征的空间，通过卷积层压缩查询特征的通道数。

9.根据权利要求5所述的结合医学大模型辅助和多模态影像融合的癌症预后预测系统，其特征在于，所述的初始特征提取模块和所述的二级特征提取模块均采用resnet50进行特征提取。

10.一种结合医学大模型辅助和多模态影像融合的癌症预后预测方法，其特征在于，包括以下步骤：

技术总结
本发明公开了一种结合医学大模型辅助和多模态影像融合的癌症预后预测系统和方法，采用医学大模型MedSAM的辅助分割，相比于现有的手动分割，减少了医生确定病灶区域的工作量，优化肿瘤切片数据的可用性，在此基础上，依次重采样、最小包络矩形选择、以及矩形膨胀来得到PET肿瘤切片和CT肿瘤切片，并对PET肿瘤切片和CT肿瘤切片进行融合得到融合切片，这样得到三个模态的切片能够确保后续分析的准确性和可靠性；本发明利用基于多模态影像融合的癌症预后预测模型来有效地整合多模态切片后进行癌症预后预测，来提升癌症预后预测结果的准确性，同时癌症预后预测结果可以用来指导医生进行癌症治疗方案的选择。

技术研发人员：应豪超,郑路洁,吴健
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/12/5