用于改善机器学习模型泛化能力的合成训练数据生成的制作方法

1.本主题公开整体涉及机器学习模型的训练，并且更具体地涉及用于改善机器学习模型泛化能力的合成训练数据生成。


背景技术：

2.机器学习模型的功效和/或泛化能力取决于用来训练机器学习模型的数据的真实性、容量、种类和/或速度。换句话讲，高质量、容量更大、更多变化/多样化和/或更容易获得的训练数据的具体实施可导致创建不受真实世界操作场景中面临的各种挑战影响的机器学习模型。相反地，低质量、容量更小、更少变化/多样化不佳和/或较不易获得的训练数据的具体实施可导致创建容易受到真实世界操作场景中所面临的各种挑战的阻碍的机器学习模型。因此，可提高可用训练数据的真实性、容量、种类和/或速度的系统和/或技术可能是期望的。


技术实现要素：

3.以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中，提供了促进合成训练数据生成以实现改善的机器学习模型泛化能力的设备、系统、计算机实现的方法、装置和/或计算机程序产品。
4.根据一个或多个实施方案，提供了一种系统。该系统可包括可存储计算机可执行部件的存储器。该系统还可包括处理器，该处理器能够可操作地耦接到存储器并且能够执行存储在存储器中的计算机可执行部件。在各种实施方案中，计算机可执行部件可包括元素增强部件，该元素增强部件可基于带注释的源图像生成一组带注释的初步训练图像。在各个方面，可通过将至少一个感兴趣元素或至少一个背景元素插入到带注释的源图像中来形成带注释的初步训练图像。在各种情况下，计算机可执行部件可包括模态增强部件，该模态增强部件可基于该组带注释的初步训练图像生成一组带注释的中间训练图像。在各种情况下，可通过改变带注释的初步训练图像的至少一个基于模态的特性来形成带注释的中间训练图像。在各个方面，计算机可执行部件可包括几何增强部件，该几何增强部件可基于该组带注释的中间训练图像生成一组带注释的可部署训练图像。在各种情况下，可通过改变带注释的中间训练图像的至少一个几何特性来形成带注释的可部署训练图像。在各种实施方案中，计算机可执行部件可包括训练部件，该训练部件可在该组带注释的可部署训练图像上训练机器学习模型。
5.根据一个或多个实施方案，上述系统可被实现为计算机实现的方法和/或计算机程序产品。
6.根据一个或多个实施方案，可提供一种计算机程序产品。在各种情况下，该计算机程序产品可包括计算机可读存储器，该计算机可读存储器具有利用其体现的程序指令。在
各种情况下，该程序指令可由处理器执行以使该处理器执行各种操作。在一些情况下，此类操作可包括通过定义一组增强子空间来将数据段的模拟空间参数化，其中每个增强子空间包括对应的一组可增强参数。在各种情况下，每个可增强参数可具有可能值或状态的对应参量范围。在各个方面，该操作还可包括接收源数据段。在各种实施方案中，该操作还可包括针对每个可增强参数，对对应于该可增强参数的可能值或状态的参量范围进行采样。在一些情况下，这可产生表示模拟空间的值或状态的采样范围的集合。在各个方面，该操作还可包括通过将值或状态的采样范围的集合应用于源数据段的副本来生成一组训练数据段。
附图说明
7.本专利或专利申请文件包含至少一个彩色绘制的附图。带有彩色附图的本专利或专利申请公布的副本将在提出请求并支付必要费用后由专利局提供。
8.图1示出了根据本文所述的一个或多个实施方案的示例性、非限制性系统的框图，该系统促进合成训练数据生成以实现改善的机器学习模型泛化能力。
9.图2示出了根据本文所述的一个或多个实施方案的包括元素目录的示例性、非限制性系统的框图，该系统促进合成训练数据生成以实现改善的机器学习模型泛化能力。
10.图3至图4示出了根据本文所述的一个或多个实施方案的由带注释的源图像形成的示例性、非限制性初步训练图像的框图。
11.图5示出了根据本文所述的一个或多个实施方案的包括基于模态的特性的示例性、非限制性系统的框图，该系统促进合成训练数据生成以实现改善的机器学习模型泛化能力。
12.图6示出了根据本文所述的一个或多个实施方案的由初步训练图像形成的示例性、非限制性中间训练图像的框图。
13.图7示出了根据本文所述的一个或多个实施方案的包括几何变换的示例性、非限制性系统的框图，该系统促进合成训练数据生成以实现改善的机器学习模型泛化能力。
14.图8示出了根据本文所述一个或多个实施方案的由中间训练图像形成的示例性、非限制性可部署训练图像的框图。
15.图9示出了根据本文所述的一个或多个实施方案的基于模态的特性和几何特性的示例性、非限制性变型的框图。
16.图10示出了根据本文所述的一个或多个实施方案的示例性、非限制性实验结果。
17.图11至图20示出了根据本文所述的一个或多个实施方案的示例性、非限制性图像增强的框图。
18.图21示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法的流程图，该方法促进合成训练数据生成以实现改善的机器学习模型泛化能力。
19.图22示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法的流程图，该方法促进合成训练数据生成以实现改善的机器学习模型泛化能力。
20.图23示出了根据本文所述的一个或多个实施方案的示例性、非限制性增强空间分层结构的框图，该分层结构促进合成训练数据生成以实现改善的机器学习模型泛化能力。
21.图24示出了示例性、非限制性操作环境的框图，在该操作环境中可以促进本文所述的一个或多个实施方案。
22.图25示出了能够操作为执行本文所述的各种具体实施的示例性联网环境。
具体实施方式
23.以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“背景技术”或“发明内容”部分或者“具体实施方式”部分中提出的任何明示或暗示信息的约束。
24.现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。
25.机器学习模型可以是能够将一组(例如，一个或多个)输入变量映射到一组(例如，一个或多个)输出变量的任何合适的人工智能模型和/或算法。在各个方面，每个输出变量可被称为类、分类、标签、类别、分割、检测等。换句话讲，机器学习模型可接收输入数据并且可确定输入数据属于哪个类别(例如，可将输入数据分类)。在其他情况下，机器学习模型可产生任何合适的分割、确定、决策、预测、推理、回归等作为输出。在各个方面，机器学习模型可被设计和/或配置为接收任何合适维数的任何合适类型的输入数据(例如，标量、矢量、矩阵和/或张量)，并且生成任何合适维数的任何合适类型的输出数据(例如，标量、矢量、矩阵和/或张量)。作为一些非限制性示例，机器学习模型可被配置为执行图像识别、分类和/或分割(例如，识别图像中描绘的字符串、数字对象和/或字母数字对象；识别图像中描绘的植物群和/或动物群；识别图像中描绘的解剖结构；识别图像中描绘的无生命对象)，可被配置为执行声音识别、分类和/或分割(例如，识别音频数据中存在的口头字母、字词和/或语音；识别音频数据中存在的说话声；识别音频数据中存在的动物群声音；识别音频数据中存在的无生命对象的声音)，和/或任何其他合适类型的数据识别、分类、分割、预测、确定和/或检测(例如，将垃圾电子邮件与非垃圾邮件电子邮件区分开来；将可能进行交易的客户与不太可能进行交易的客户区分开来；将可能存在欺诈的交易与不太可能存在欺诈的交易区分开来；等等)。在各个方面，可实现任何合适的输出维数(例如，二元分类、三元分类、四元分类和/或任何合适的高阶分类)。
26.在各个方面，可训练机器学习模型(例如，经由有监督的训练、无监督的训练和/或强化学习)对所接收的输入数据进行分类、标记和/或进行关于所接收的输入数据的任何其他确定、预测和/或推断。当实施有监督的训练时，每条训练数据可具有对应的注释。在各个方面，对应的注释可指示该条训练数据已知属于哪个真实分类(例如，可表示真实值)。在有监督的训练期间，可向机器学习模型馈送一条训练数据，并且机器学习模型可相应地生成所得分类。在各种情况下，可使用所得分类与已知注释之间的差异(例如，在反向传播中)来更新机器学习模型的参数。以这种方式更新机器学习模型的参数可有助于使机器学习模型更准确地分析类似于训练数据的未来输入数据。
27.在各种情况下，机器学习模型的功效可取决于机器学习模型经历的训练的质量。换句话讲，当在更好和/或更高质量的训练数据上训练机器学习模型时，该机器学习模型可更好地执行(例如，可更准确地分析输入数据)。在各个方面，训练数据的质量可根据真实性、容量、种类和/或速度来描述。在各种情况下，训练数据的真实性可与对应于训练数据的
已知注释的准确性相关(例如，仅当涉及训练数据的准确注释时，才可准确更新/调整机器学习模型的参数；因此，如果训练数据的已知注释不准确，则训练可能无效，并且当在现实生活中部署机器学习模型时，机器学习模型可能无法准确分析输入数据)。在各种情况下，训练数据的容量可与训练数据的数量相关(例如，当更多训练数据可用时，可更全面/更适当地更新/调整机器学习模型的参数；因此，如果只有极少训练数据可用于馈送到机器学习模型，则训练可能无效，并且当在现实生活中部署机器学习模型时，机器学习模型可能无法准确地分析输入数据)。在各个方面，训练数据的种类可涉及训练数据内存在的特征多样性(例如，可训练机器学习模型以仅检测和/或忽略训练数据内存在的那些特征；因此，如果在训练数据中描绘的特征没有太多真实世界种类，则训练可能无效，并且当在现实生活中部署机器学习模型时，机器学习模型可能无法准确地分析输入数据)。在一些情况下，训练数据的速度可涉及从训练数据源收集训练数据和相关联的注释可有多快(例如，仅当带注释的训练数据可用时可训练机器学习模型；因此，如果需要数天、数周或数月来生成带注释的训练数据，则在训练和/或部署机器学习模型之前可能需要等待数天、数周或数月)。
28.简而言之，训练数据不足可导致机器学习模型不足(例如，当模型在未由训练数据集表示的数据集上操作时，性能准确度下降5％至40％)。因此，改善训练数据的真实性、容量、种类和/或速度可有助于改善机器学习模型的泛化能力。例如，无论输入数据的真实世界可变性如何，在高真实性、高容量、丰富种类和/或高速度训练数据上训练的机器学习模型都可准确地分析输入数据。相反地，在低真实性、低容量、较少种类和/或低速度训练数据上训练的机器学习模型可容易地由于输入数据的真实世界可变性而出问题，并且因此可能无法准确地分析输入数据。因此，在各个方面，可改善训练数据的真实性、容量、种类和/或速度的系统和/或技术可以是期望的。
29.本主题创新的各种实施方案可以解决这些问题/难题中的一个或多个。本文所述的一个或多个实施方案包括可促进合成训练数据生成以实现改善的机器学习模型泛化能力的系统、计算机实现的方法、装置和/或计算机程序产品。在各种情况下，本主题创新的实施方案可被视为用于快速生成任何合适的机器学习模型的真实、大容量和/或多种多样的训练数据的计算机化工具。在各个方面，本主题创新的实施方案然后可在快速生成的、真实、大容量和/或多种多样的训练数据上训练机器学习模型，从而改善机器学习模型的功效和/或泛化能力。
30.为了便于解释，本文关于快速生成真实、大容量和/或多种多样的训练数据的教导内容是关于被配置为在临床环境中对二维医学图像进行分类/标记的机器学习模型而讨论的。然而，应当理解，这是示例性的和非限制性的。在各个方面，本文的教导内容可用于为被配置为在任何合适的操作背景下生成任何合适类型的结果(例如，分类、分割、确定、推断、预测等等)的任何合适的机器学习模型(例如，被配置为接收二维和/或三维图像数据作为输入的机器学习模型，被配置为接收一维和/或多维声音数据作为输入的机器学习模型，和/或被配置为接收具有任何合适维数的任何其他合适数据作为输入的机器学习模型)快速生成真实、大容量和/或多种多样的训练数据。
31.在各种情况下，本主题创新的实施方案可以电子方式接收带注释的源图像。在各个方面，带注释的源图像可以是患者的医学图像(例如，患者的x光图像、患者的计算机断层摄影(ct)图像、患者的磁共振成像(mri)图像、患者的正电子发射断层摄影(pet)图像、患者
的可见光谱照片等等)。在各个方面，带注释的源图像可由任何合适的成像设备和/或装置生成和/或捕获，并且带注释的源图像可直接从成像设备和/或装置接收。在各种其他方面，带注释的源图像可存储在任何合适的数据库和/或数据结构中，并且带注释的源图像可从数据库和/或数据结构中检索。在各种情况下，如其名称所暗示的，带注释的源图像可与注释相关联。在各个方面，注释可以是已知应用于带注释的源图像的类、分类、类别和/或标签的任何合适的指示(例如，注释可指示带注释的源图像描绘具有脑部病变的患者，注释可指示带注释的源图像描绘长了龋齿的患者，注释可指示带注释的源图像描绘血管阻塞的患者，注释可指示带注释的源图像描绘具有特定皮肤病症的患者，注释可指示带注释的源图像描绘患有肺癌的患者，等等)。在各个方面，注释可以处于任何合适的粒度和/或特异性水平(例如，注释可仅指示影响患者的病症，以及/或者注释可更具体地指示表征影响患者的病症的任何其他信息，诸如病症的定位/偏侧性、病症的严重程度、病症的时限、与病症相关联的预后等等)。在各种情况下，可通过任何合适的技术生成和/或创建注释，诸如由临床医生和/或医疗专业人员手动生成和/或创建。
32.如本文所述，本主题创新的各种实施方案可以电子方式接收带注释的源图像，并且可基于带注释的源图像以电子方式生成多个真实、大容量和/或多种多样的训练图像。在各个方面，这可通过复制带注释的源图像并且通过对带注释的源图像的副本执行三种不同类型的增强来实现。
33.具体地讲，在各种情况下，本主题创新的实施方案可经由元素增强部件基于带注释的源图像生成一组带注释的初步训练图像(例如，也称为初步训练图像)。在各个方面，可通过将至少一个感兴趣元素/特征和/或至少一个背景元素/特征插入到带注释的源图像中来形成带注释的初步训练图像。在各个方面，感兴趣元素/特征(至少相对于图像)可以是可被添加到带注释的源图像(例如，其可被添加到带注释的源图像的副本)并且是要训练的机器学习模型应该学习、预测、检测和/或分类的元素/特征的任何合适的视觉对象和/或视觉特性。例如，如果要训练的机器学习模型应该学习、预测、检测和/或分类不同类型的脑部病变，则感兴趣元素/特征可以是能够插入到带注释的源图像中的特定脑部病变的独立图像。又如，如果要训练的机器学习模型应该学习、预测、检测和/或分类皮肤生长物，则感兴趣元素/特征可以是能够插入到带注释的源图像中的特定皮肤生长物的独立图像。在一些情况下，感兴趣元素/特征可被称为阳性元素/特征。在各个方面，背景元素/特征(至少相对于图像)可以是可被添加到带注释的源图像(例如，其可被添加到带注释的源图像的副本)并且是要训练的机器学习模型不应该学习、预测、检测和/或分类的元素/特征的任何合适的视觉对象和/或视觉特性。相反，在各种情况下，背景元素/特征可不利地影响由机器学习模型生成的分类(例如，可干扰和/或阻碍机器学习模型)。例如，如果要训练的机器学习模型应该学习、预测、检测和/或分类特定类型的发病率，则背景元素/特征可以是能够插入到带注释的源图像中的不相关共存病的独立图像。又如，在一些情况下，背景元素/特征可以是能够插入到带注释的源图像中的特定医疗设备的独立图像。在各种情况下，当元素/特征被插入到带注释的源图像的副本中时，该副本现在可以被称为初步训练图像。在各个方面，可基于带注释的源图像生成任何合适数量的初步训练图像。
34.在各种情况下，不同元素/特征可以不同方式在带注释的源图像内(例如，在带注释的源图像的副本内)不同地定位和/或设置，从而产生不同的初步训练图像。在一些情况
下，所插入的元素/特征可在带注释的源图像中随机定位和/或设置在生物学上可行的位置/定位的任何合适范围内。例如，假设带注释的源图像是患者胸部和腹部的x光图像。因此，带注释的源图像可描绘患者的胸腔、患者的肠/腹腔等。此外，假设要训练的机器学习模型应该学习、预测、检测和/或分类肺癌(和/或以其他方式执行肺部分割)。在各个方面，元素/特征可被添加到和/或插入到带注释的源图像中的任何在生物学上可行的位置/定位。例如，假设元素/特征是癌性肺生长物(例如，感兴趣元素/特征)。在各个方面，可制作x光片的第一副本，并且癌性肺生长物可在所描绘的胸腔内的任何合适的位置被插入到第一副本中并且可不插入到所描绘的腹腔中(例如，癌性肺生长物可能在患者的肺中并因此在胸腔中形成；然而，癌性肺生长物不可能在患者的腹腔中形成)。在各种情况下，第一副本现在可被视为第一初步训练图像。又如，假设元素/特征为胃气(例如，背景元素/特征)。在各个方面，可制作x光片的第二副本，并且胃气可在所描绘的腹腔内的任何合适的位置被插入到第二副本中，并且可不插入到所描绘的胸腔中(例如，胃气可能在患者的腹腔中形成；然而，胃气不可能在患者的胸腔中形成)。这样，可将可插入元素/特征定位在带注释的源图像中的任何合适的在生物学上可行的位置/定位中。在各种情况下，现在可将第二副本视为第二初步训练图像。因此，可通过将不同元素/特征插入到带注释的源图像中(例如，插入到带注释的源图像的副本中)来形成不同的初步训练图像。
35.在各个方面，相同的元素/特征可不同地定位在带注释的源图像内(例如，在带注释的源图像的副本内)，从而产生不同的初步训练图像。例如，再次考虑上面的示例，其中第一初步训练图像包括所插入的癌性肺生长物。假设该癌性肺生长物被插入到所描绘的患者的胸腔中右肺的顶部部分中。在一些情况下，可制作x光片的第三副本，并且可将癌性肺生长物插入到所描绘的胸腔中的左肺的底部部分中。在各个方面，第三副本现在可被视为第三初步训练图像。因此，可通过将癌性肺生长物的图像插入到带注释的源图像中来形成第一初步训练图像和第三初步训练图像两者，但是它们可以是不同的初步训练图像，因为癌性肺生长物可在其中不同地定位。又如，再次考虑上面的示例，其中第二初步训练图像包括所插入的胃气。假设胃气被插入到所描绘的患者的腹腔的左上部分中。在一些情况下，可制作x光片的第四副本，并且可将胃气插入到所描绘的腹腔中的右下部分中。在各个方面，第四副本现在可被视为第四初步训练图像。因此，可通过将胃气的图像插入到带注释的源图像中来形成第二初步训练图像和第四初步训练图像两者，但是它们可以是不同的初步训练图像，因为胃气可在其中不同地定位。这样，可将相同的元素/特征插入到带注释的源图像的不同副本中的不同地方/位置/定位，从而产生不同的初步训练图像。
36.应当理解，当将可插入元素/特征插入到带注释的源图像(例如，插入到带注释的源图像的副本中)时，可改变可插入元素/特征的任何合适的特性。例如，可将相同的元素/特征插入到带注释的源图像的两个不同副本中，使得该相同的元素/特征具有不同的空间尺寸(例如，长度、宽度、高度、厚度)、不同的空间取向(例如，倒置取向、侧向取向、向后取向)和/或在带注释的源图像的不同副本中具有不同强度。
37.需注意，当插入背景元素/特征时，基于带注释的源图像生成的初步训练图像在一些情况下可共享带注释的源图像的注释(例如，初步训练图像的分类和/或标签可与插入背景元素/特征时带注释的源图像的分类和/或标签相同)。例如，假设带注释的源图像描绘了患者的胸部x光片，并且假设注释指示患者患有肺炎。在这种情况下，插入背景元素/特征
(例如，胃气、医用缆线/管/线、起搏器等)不会改变患者患有肺炎的事实。
38.需注意，当插入感兴趣元素/特征时，基于带注释的源图像生成的初步训练图像在一些情况下可具有基于所插入的感兴趣元素/特征的注释。例如，假设带注释的源图像描绘了患者的头部ct扫描，并且假设注释指示患者左侧血管堵塞。在这种情况下，插入感兴趣元素/特征可能需要注释的相应改变/更新。例如，如果将另一条堵塞血管插入所描绘的颅腔的右侧，则可更新注释以指示更新的图像中存在左侧堵塞血管和右侧堵塞血管。
39.因此，在各种实施方案中，可基于带注释的源图像的注释和/或基于插入到带注释的源图像中的元素/特征来了解/创建任何初步训练图像的注释。
40.在各个方面，可维护预先制作、预先绘制、预先示出和/或预先生成的元素/特征的目录，并且可将来自该目录的任何合适数量的预先制作、预先绘制、预先示出和/或预先生成的元素/特征以任何合适的位置和/或任何合适的取向插入到带注释的源图像中(例如，插入到带注释的源图像的副本中)以生成该组初步训练图像。在各个方面，该目录可以是任何合适的数据库和/或数据结构(例如，关系数据库、图形数据库、混合数据库)。在各个方面，存储在该目录中的元素/特征可经由任何合适的技术创建(例如，存储在该目录中的元素/特征可以是手绘元素/特征的电子副本，可以是二维计算机辅助设计模型的电子图像，可以是二维计算机辅助设计模型本身，可以是三维计算机辅助设计模型的二维投影，可以是三维计算机辅助设计模型本身，等等)。
41.在医学背景下，元素/特征的此类置换插入可有助于更完全地模拟和/或近似真实世界生物可变性(例如，单次x光扫描可能无法充分表示真实世界患者经历的生物可变性的整个空间；因此，为了帮助模拟和/或跨越真实世界患者经历的生物可变性的整个空间，可向单次x光扫描和/或单次x光扫描的副本添加和/或在其上叠加各种生物结构和/或医疗设备结构)。
42.在各种情况下，本主题创新的实施方案可经由模态增强部件基于该组初步训练图像生成一组带注释的中间训练图像(例如，也称为中间训练图像)。在各个方面，可通过改变初步训练图像的至少一个基于模态的特性来形成中间训练图像。在各个方面，基于模态的特性(至少相对于图像)可以是取决于生成和/或捕获带注释的源图像的设备模态(例如，图像捕获设备)的任何合适的图像属性。例如，不同的图像捕获设备模态可表现出不同的γ/辐射水平、不同的亮度/对比度水平、不同的运动/模糊水平、不同的噪声水平、不同的分辨率、不同的视场、不同的放大水平、不同的视觉纹理、不同的成像伪影(例如，眩光；相机镜片上的划痕、灰尘和/或任何其他遮挡材料)等等。应当理解，在各个方面，一些基于模态的特性可连续地变化，而其他基于模态的特性可离散地变化。在各种情况下，可通过改变初步训练图像的γ/辐射水平、亮度/对比度水平、运动/模糊水平、噪声水平、分辨率、视场、放大水平、视觉纹理和/或成像伪影来才从初步训练图像形成中间训练图像。在各种情况下，可通过改变初步训练图像的一个或多个基于模态的特性来从每个初步训练图像形成任何合适数量的中间训练图像。例如，考虑表现出现有γ/辐射水平的初步训练图像(例如，从带注释的源图像生成的许多图像中的一个)。在各个方面，可制作初步训练图像的第一副本，并且可将第一副本的现有γ/辐射水平改变为第一γ/辐射水平。在各种情况下，初步训练图像的第一副本现在可被视为第一中间训练图像。在各个方面，可制作初步训练图像的第二副本，并且可将第二副本的现有γ/辐射水平改变为第二γ/辐射水平。在各种情况下，初步训
练图像的第二副本现在可被视为第二中间训练图像。又如，假设初步训练图像表现出现有的亮度/对比度水平。在各个方面，可制作初步训练图像的第三副本，并且可将第三副本的现有亮度/对比度水平改变为第一亮度/对比度水平。在各种情况下，初步训练图像的第三副本现在可被视为第三中间训练图像。在各个方面，可以制作初步训练图像的第四副本，并且可将第四副本的现有亮度/对比度水平改变为第二亮度/对比度水平。在各种情况下，初步训练图像的第四副本现在可被视为第四中间训练图像。又如，假设初步训练图像表现出现有眩光。在各个方面，可制作初步训练图像的第五副本，并且可将第五副本的现有眩光移除、补充和/或改变为第一眩光。在各种情况下，初步训练图像的第五副本现在可被视为第五中间训练图像。在各个方面，可制作初步训练图像的第六副本，并且可将第六副本的现有眩光移除、补充和/或改变为第二眩光。在各种情况下，初步训练图像的第六副本现在可被视为第六中间训练图像。这样，可通过以置换方式改变初步训练图像中的每个初步训练图像的至少一个基于模态的特性来生成任何合适数量的中间训练图像。在各种情况下，可实施用于改变初步训练图像的基于模态的特性的任何合适的策略和/或方案。
43.在医学背景下，基于模态的特性的此类置换变化可有助于更完全地模拟和/或近似真实世界设备模态可变性(例如，单个x光扫描可由单个类型/型号的x光机生成，并且因此可能无法充分表示真实世界医学/临床环境中存在的x光机可变性的整个空间；因此，为了帮助模拟和/或跨越真实世界医疗/临床环境中存在的x光机可变性的整个空间，可调整/改变单次x光扫描的各种基于模态的特性和/或单次x光扫描的副本)。
44.在各个方面，本主题创新的实施方案可经由几何增强部件基于该组中间训练图像生成一组带注释的可部署训练图像(例如，也称为可部署训练图像)。在各个方面，可通过将至少一种几何变换应用于中间训练图像来形成可部署训练图像。在各个方面，几何变换(至少相对于图像)可以是可在空间上改变和/或变换图像像素网格的任何合适的数学变换和/或运算。例如，几何变换可包括围绕任何合适的轴线反射图像、围绕任何合适的轴线旋转图像、修剪图像的任何合适的部分、平移图像、倾斜图像、放大图像和/或缩小图像、将仿射和/或弹性变换应用于图像、使图像远离直线投影失真等等。在各种情况下，可通过翻转、旋转、裁剪、平移、倾斜、缩放中间训练图像和/或使其失真来从中间训练图像形成可部署训练图像。在各种情况下，可通过将一种或多种几何变换应用于中间训练图像来从每个中间训练图像形成任何合适数量的可部署训练图像。例如，考虑表现出现有取向的中间训练图像(例如，从中间训练图像生成的许多中间训练图像中的一个)。在各个方面，可制作中间训练图像的第一副本，并且可将第一副本的现有取向反射、旋转、平移、倾斜和/或缩放到第一取向。在各种情况下，中间训练图像的第一副本现在可被视为第一可部署训练图像。在各个方面，可制作中间训练图像的第二副本，并且可将第二副本的现有取向反射、旋转、平移、倾斜和/或缩放到第二取向。在各种情况下，中间训练图像的第二副本现在可被视为第二可部署训练图像。又如，假设中间训练图像表现出现有外观。在各个方面，可制作中间训练图像的第三副本，并且可经由第一仿射和/或弹性变换使第三副本的现有外观失真。在各种情况下，中间训练图像的第三副本现在可被视为第三可部署训练图像。在各个方面，可制作中间训练图像的第四副本，并且可经由第二仿射和/或弹性变换使第四副本的现有外观失真。在各种情况下，中间训练图像的第四副本现在可被视为第四可部署训练图像。这样，可通过改变初步训练图像中的每个初步训练图像的至少一个基于模态的特性来生成任何合适数量
的中间训练图像。在各种情况下，可实施用于将几何变换应用于中间训练图像的任何合适的策略和/或方案。
45.在医学背景下，几何变换的此类置换应用可有助于更完全地模拟和/或近似真实世界图像可变性(例如，单个x光扫描可具有某些几何特性，并且因此可能无法充分表示真实世界医学/临床环境中存在的x光特性的整个空间；因此，为了帮助模拟和/或跨越真实世界医疗/临床环境中存在的x光特性的整个空间，可将各种几何变换应用于单次x光扫描和/或单次x光扫描的副本)。
46.在各种情况下，本主题创新的实施方案可经由训练部件在该组可部署训练图像上训练机器学习模型。需注意，如本文所述，单个带注释的源图像可用于自动而且快速地生成多个可部署训练图像。具体地讲，该多个可部署训练图像可通过以下方式形成：制作带注释的源图像的不同副本，将不同元素/特征插入到不同副本中的不同位置/取向，改变不同副本的不同的基于模态的特性，不同地改变不同副本的相同的基于模态的特性，以及/或者将几何变换的不同组合应用于不同副本。换句话讲，可使用单个带注释的源图像来创建多个合成生成的训练图像，这些训练图像有助于通过元素/特征插入、通过基于模态的调制和/或通过几何变换(例如，可存在不同的可插入元素/结构、不同的插入位置和/或取向和/或尺寸、不同的基于模态的特性和/或不同的几何变换的多种排列)来解释真实世界可变性。因此，与仅在单个带注释的源图像上训练相比，在多个可部署训练图像上训练机器学习模型可改善机器学习模型的性能和/或功效。
47.为了帮助阐明上述讨论中的一些，考虑以下非限制性示例。假设期望在初始训练数据集上训练机器学习模型。此外，假设初始训练数据集包括从x光机接收的带注释的胸部x光图像(例如，源图像)，并且假设机器学习模型被假定为学习、预测、检测和/或分类胸部x光图像中的肺癌。在各个方面，可基于将各种元素/特征插入到带注释的胸部x光图像中来形成一组初步训练x光图像。例如，在一些情况下，可通过将起搏器的图像插入带注释的胸部x光图像的心脏位置中来形成第一初步训练x光图像，可通过将医疗管材的图像放置在带注释的胸部x光图像的左上部分中来形成第二初步训练x光图像，可通过将医疗管材的图像插入带注释的胸部x光图像的右上部分(例如，相同的元素取向、不同的位置)来形成第三初步训练x光图像，可通过将医疗管材的不同取向/尺寸的图像插入带注释的胸部x光图像的左上部分(例如，不同的元素取向/尺寸、相同的位置)来形成第四初步训练x光图像，可通过将胃气图像插入到带注释的胸部x光图像的下部部分中来形成第五初步训练x光图像，并且可通过不将元素/特征插入到带注释的胸部x光片中来形成第六初步训练x光图像。也就是说，在各种情况下，可实现元素/特征插入以基于单个带注释的x光图像来生成六个初步训练x光图像。
48.在各个方面，可基于调整六个初步训练x光图像中的每个初步训练x光图像的各种基于模态的特性来形成一组中间训练x光图像。例如，在一些情况下，假设可在x光图像中表现出三种可能的γ/辐射水平(例如，高γ/辐射、中γ/辐射、低γ/辐射)，假设可在x光图像中表现出三种可能的模糊水平(例如，高模糊、中模糊、低模糊)，并且假设可在x光图像中表现出两种可能的伪影(例如，镜片眩光与无镜片眩光)。在这种情况下，可由初步训练x光图像中的每个初步训练x光图像形成十八个中间训练x光图像(例如，三个γ/辐射水平乘以三个模糊水平乘以两个伪影水平)，于是形成总共一百零八个中间训练x光图像(例如，每个初
步训练x光图像十八个中间训练x光图像乘以六个初步训练x光图像)。
49.在各个方面，可基于将各种几何变换应用于每个中间训练x光图像来形成一组可部署训练x光图像。例如，在一些情况下，假设可用的几何变换包括三种潜在反射(例如，围绕水平轴线反射，围绕竖直轴线反射，和/或根本不反射)、四种潜在旋转(例如，顺时针旋转15度，顺时针旋转45度，顺时针旋转75度，和/或根本不旋转)、两种可能的裁剪(例如，应用中心裁剪与不应用中心裁剪)和两种可能的失真(例如，应用桶形失真与不应用桶形失真)。在这种情况下，可从每个中间训练x光图像形成四十八个不同的可部署训练x光图像(例如，三种可能的反射乘以四种可能的旋转乘以两种可能的裁剪乘以两种可能的失真)，于是形成总共5，184个可部署训练x光图像(例如，每个中间训练x光图像四十八个可部署训练x光图像乘以一百零八个中间训练x光图像)。即，通过应用本文所公开的教导内容，可利用初始训练数据集中的单个带注释的x光图像来合成地生成非常多的(例如，5,184个)可部署训练x光图像，这些图像模拟真实世界种类并且可在这些图像上训练机器学习模型。如果初始训练数据集包括一百个带注释的x光图像而不是仅一个，则本主题创新的各种实施方案可因此生成518,400个可部署训练x光图像(例如，初始训练数据集中每个带注释的x光图像5,184个可部署训练x光图像乘以初始训练数据集中的100个带注释的x光图像)。在各个方面，与仅在该组初始训练数据上训练机器学习模型相比，在该组可部署训练x光图像上训练机器学习模型可产生显著改善的功效和/或性能。实际上，通过插入各种元素/特征，通过改变不同的基于模态的特性，和/或通过应用不同的几何变换，本主题创新的实施方案可以电子方式创建一组训练数据，该组训练数据可使机器学习模型变得对于此类各种元素/特征、不同的基于模态的特性和/或不同的几何变换不变和/或具有稳健性。
50.应当理解，上述示例中的数字和/或细节是示例性的、非限制性的，并且出于说明的目的。
51.本主题创新的各种实施方案可用于使用硬件和/或软件来解决本质上高度技术的问题(例如，以促进用于改善机器学习模型泛化能力的合成训练数据生成)，这些问题不是抽象的并且不能作为人类的一组心理行为来执行。此外，所执行的一些过程可由专用计算机(例如，经训练的机器学习模型)执行，以用于执行与用于改善机器学习模型的泛化能力的合成训练数据生成相关的限定任务(例如，基于带注释的源图像生成一组带注释的初步训练图像，其中通过将至少一个感兴趣元素或至少一个背景元素插入到带注释的源图像中来形成带注释的初步训练图像；基于该组带注释的初步训练图像生成一组带注释的中间训练图像，其中通过改变带注释的初步训练图像的至少一个基于模态的特性来形成带注释的中间训练图像；基于该组带注释的中间训练图像生成一组带注释的可部署训练图像，其中通过改变带注释的中间训练图像的至少一个几何特性来形成带注释的可部署训练图像；以及在该组带注释的可部署训练图像上训练机器学习模型)。此类限定的任务在常规上不由人类手动执行。此外，人类心智以及人利用纸和笔都不能以电子方式将元素/特征插入到图像中，也不能以电子方式改变图像的基于模态的特性，也不能以电子方式调整图像的几何特性。替代地，本主题创新的各种实施方案本质上且密不可分地与计算机技术相关，并且不能在计算环境之外实现(例如，本主题创新的实施方案构成了基于给定的带注释的源图像合成地生成许多不同的训练图像的计算机化工具；这样的计算机化设备可仅存在于计算环境中)。
52.在各种情况下，本发明的实施方案可将所公开的关于合成训练数据生成以改善机器学习模型的泛化能力的教导内容集成到实际应用中。实际上，在各种实施方案中，所公开的教导内容可提供计算机化系统，该计算机化系统接收一个或多个带注释的源图像(例如，具有由真实世界医疗/临床专业人员创建的相关联注释的患者的真实世界医疗/临床图像)作为输入，以及基于该一个或多个带注释的源图像产生多个训练图像作为输出，其中该多个训练图像是通过复制该一个或多个带注释的源图像、通过将感兴趣元素/特征和/或背景元素/特征以电子方式插入到副本、通过以电子方式改变副本的基于模态的特性和/或通过以电子方式对副本应用几何变换而形成的。所得的多个训练图像是极为不同的一组图像，其近似和/或模拟真实世界可变性(例如，元素/特征插入可有助于近似真实世界生物可变性；基于模态的特性变化可有助于近似真实世界设备模态可变性；并且几何特性变化可有助于进一步近似真实世界可变性)。与仅在一个或多个带注释的源图像上训练机器学习模型相比，在此类多个训练图像上训练机器学习模型可得到显著改善的性能和/或功效。因此，这样的计算机化系统显然是计算机的有用而且实际的应用。
53.此外，本发明的各种实施方案可提供对机器学习模型训练领域中出现的问题的技术改进并且解决这些问题。如上所述，机器学习模型的功效和/或性能可受到训练数据的真实性、容量、种类和/或速度的限制(例如，不足的模拟真实世界可变性的训练数据可导致不足的机器学习模型)。本主题创新的实施方案通过提供可快速合成地生成真实、大容量和/或多种不同的训练数据的计算机化系统来解决该技术问题(例如，元素/特征插入、基于模态的特性变化和几何变换均可有助于模拟和/或近似真实世界可变性)。在此类真实、大容量和/或多种不同的训练数据上训练机器学习模型可得到显著改善的模型性能。正因为本主题创新的实施方案能够改善机器学习模型的计算性能，因此本主题创新的实施方案构成技术改进。
54.此外，本主题创新的各种实施方案可以基于所公开的教导内容来控制真实世界设备。例如，本主题创新的实施方案可以电子方式接收真实世界的带注释的源图像(例如，x光扫描、ct扫描、mri扫描、pet扫描、超声扫描、可见光谱照片)。本主题创新的实施方案可以电子方式将感兴趣元素/特征的真实世界图像和/或背景元素/特征的真实世界图像插入到真实世界的带注释的源图像中。本主题创新的实施方案可以电子方式改变真实世界带注释的源图像的真实世界基于模态的特性。此外，本主题创新的实施方案可以电子方式改变真实世界带注释的源图像的真实世界几何特性。此类电子方式插入和/或电子方式变化可产生更完全和/或更完整地模拟真实世界图像可变性的多个真实世界训练图像。在此类多个真实世界训练图像上训练真实世界机器学习模型可提高机器学习模型的功效/性能，这是一种具体而有形的技术改进。
55.应当理解，本文的附图是示例性的和非限制性的。
56.图1示出了根据本文所述的一个或多个实施方案的示例性、非限制性系统100的框图，该系统可促进合成训练数据生成以实现改善的机器学习模型泛化能力。如图所示，可期望在带注释的源图像104上训练机器学习模型106。然而，在各个方面，带注释的源图像104可能无法完全和/或充分地表示真实世界图像可变性的整个空间。在各种情况下，合成训练数据生成系统102可通过基于带注释的源图像104以电子方式生成一组训练图像来解决该问题，并且可在该组训练图像上训练机器学习模型106。
57.在各个方面，机器学习模型106可以是被设计为接收一个或多个图像作为输入并且基于输入的一个或多个图像产生一个或多个分类、标签和/或预测作为输出的任何合适的计算实现的人工智能模型和/或算法(例如，支持向量机、神经网络、专家系统、贝叶斯信念网络、模糊逻辑、数据融合引擎等)。在各个方面，可以实现任何合适的机器学习模型和/或算法，诸如用于执行分类、用于执行分割、用于执行检测、用于执行回归、用于执行重构、用于执行图像到图像(和/或数据到数据)变换和/或用于执行任何其他合适的机器学习功能的模型和/或算法。
58.在各个方面，带注释的源图像104可以是机器学习模型106被设计用于分析的任何合适的图像。例如，如果机器学习模型106被设计成对医学图像进行分类，则带注释的源图像104可以是任何合适的医学图像(例如，患者的x光扫描、患者的ct扫描、患者的mri扫描、患者的pet扫描、患者的超声扫描、患者的可见光谱照片)。如上所述，带注释的源图像104可具有对应的和/或相关联的注释(例如，被认为是带注释的源图像104的真实值的分类和/或标签)。
59.在各种实施方案中，合成训练数据生成系统102可以电子方式接收/检索(例如，经由任何合适的有线和/或无线电子连接)带注释的源图像104。在各个方面，合成训练数据生成系统102可从合成训练数据生成系统102可访问的任何合适的数据库和/或数据结构以电子方式接收/检索带注释的源图像104。在各个方面，合成训练数据生成系统102可直接从生成、捕获和/或创建带注释的源图像104的图像捕获设备(例如，直接从x光扫描器、从ct扫描器、从pet扫描器、从mri扫描器)以电子方式接收/检索带注释的源图像104。
60.在各种实施方案中，合成训练数据生成系统102可以包括处理器108(例如，计算机处理单元、微处理器)和可操作地和/或操作地和/或可通信地连接/耦接到处理器108的计算机可读存储器110。存储器110可存储计算机可执行指令，该计算机可执行指令在由处理器108执行时，可使处理器108和/或合成训练数据生成系统102的其他部件(例如，元素增强部件112、模态增强部件114、几何增强部件116、训练部件118)执行一个或多个动作。在各种实施方案中，存储器110可存储计算机可执行部件(例如，元素增强部件112、模态增强部件114、几何增强部件116、训练部件118)，并且处理器108可以执行该计算机可执行部件。
61.在各种实施方案中，合成训练数据生成系统102可包括元素增强部件112。在各个方面，元素增强部件112可基于带注释的源图像104生成一组初步训练图像。具体地讲，元素增强部件112可包括元素目录，该元素目录以电子方式存储能够插入到带注释的源图像104中(例如，能够插入到带注释的源图像104的副本中)的元素(例如，感兴趣元素和/或背景元素)的图像。在各个方面，元素增强部件112可通过制作带注释的源图像104的电子副本并且通过将来自元素目录的至少一个元素插入到带注释的源图像104的该电子副本中来形成/生成初步训练图像。
62.应当理解，当本公开讨论将元素插入到带注释的源图像104中时，这可包括将元素插入到带注释的源图像104的一个或多个副本中。
63.在各种情况下，存储在元素目录中的元素可取决于机器学习模型106的性质。例如，元素目录可包括感兴趣元素的图像并且可包括背景元素的图像。在各个方面，感兴趣元素可以是机器学习模型106应该学习、预测、检测和/或分类的任何合适的视觉对象。在各种情况下，背景元素可以是机器学习模型106不需要学习、预测、检测和/或分类，但可阻碍和/
或干扰机器学习模型106的任何合适的视觉对象。例如，如果机器学习模型106被配置为学习、预测、检测和/或分类肺生长物，则感兴趣元素可包括各种恶性肺生长物和/或各种良性肺生长物，并且背景元素可包括各种医疗设备(例如，起搏器、静脉内管、支架、植入物、心电图引线)、各种并存病(例如，心脏缺陷、血管堵塞)、胃气等。换句话讲，在医学背景下，感兴趣元素可以是机器学习模型106应该学习、预测和/或检测的任何合适的解剖结构和/或生物学症状表现，并且背景元素可以是可干扰和/或阻碍机器学习模型106的任何其他合适的解剖结构和/或生物学症状表现，并且/或者可以是可干扰和/或阻碍机器学习模型106的任何合适的医疗设备。
64.在各个方面，元素增强部件112可将来自元素目录的元素的任何合适的组合插入到带注释的源图像104中以创建初步训练图像(例如，每个初步训练图像可具有一个插入元素，每个初步训练图像可具有多个插入元素，不同的初步训练图像可具有不同数量的插入元素，并且/或者至少一个初步训练图像可不具有插入元素)。
65.在各个方面，元素增强部件112可将带注释的源图像104中的插入元素定位在任何合适的生物学上可行的位置/定位中。例如，如果元素增强部件112插入肺病变的图像，则肺病变的图像可被放置在带注释的源图像104的所描绘的胸腔中，并且可避免被放置在带注释的源图像104的所描绘腹腔中(例如，肺病变可能在胸腔中形成，但不可能在腹腔中形成)。这样，可将相同的元素输入到带注释的源图像104的不同位置/定位中，从而产生不同的初步训练图像。
66.在各种情况下，元素增强部件112可控制带注释的源图像104中的插入元素的取向。例如，如果元素增强部件112插入肺病变的图像，则图像该可如元素目录中所描绘的那样取向，可颠倒取向，可向后取向，可侧向取向，可以任何合适的方式反射/旋转，等等。这样，相同的元素可在带注释的源图像104的相同位置上不同地取向，从而产生不同的初步训练图像。
67.在一些情况下，元素增强部件112可控制带注释的源图像104中的插入元素的尺寸和/或强度。例如，如果元素增强部件112插入肺病变的图像，则肺病变的图像可扩展、收缩、延长、加宽、加厚、以任何其他合适的方式被操纵等等。这样，相同元素可在带注释的源图像104的相同位置和/或相同取向上具有不同的尺寸，从而产生不同的初步训练图像。
68.在各种情况下，当通过仅将背景元素插入到带注释的源图像104中来形成初步训练图像时，初步训练图像的注释可与带注释的源图像104的注释相同(例如，如果x光图像被注释为描绘一种类型的肺癌，则向该x光图像添加胃气可能无法影响注释的准确性/完整性)。在各个方面，当通过将感兴趣元素插入到带注释的源图像104中来形成初步训练图像时，初步训练图像的注释可被初始化为带注释的源图像104的注释，然后可基于插入的感兴趣元素来更新(例如，如果x光图像被注释为描绘一种类型的肺癌，则将第二种类型的肺癌添加到该x光图像中可影响注释的准确性/完整性；因此，可更新注释以指示该x光图像现在描绘两种类型的肺癌)。
69.在各种实施方案中，合成训练数据生成系统102可包括模态增强部件114。在各个方面，模态增强部件114可基于由元素增强部件112生成的该组初步训练图像来生成一组中间训练图像。具体地讲，模态增强部件114可包括各种基于模态的特性的列表。在各个方面，基于模态的特性可以是与捕获和/或生成带注释的源图像104的设备模态相关和/或取决于
该设备模态的任何合适的图像属性。例如，基于模态的特性可包括γ/辐射水平(例如，由于γ/辐射用于生成x光片和/或ct扫描)、亮度水平、对比度水平、模糊水平、噪声水平、图像纹理、图像视场、图像分辨率和/或图像伪影(例如，镜片上的眩光、镜片上的划痕、镜片上的灰尘)。换句话讲，基于模态的特性可表示图像捕获设备的参数，该参数可影响所捕获图像的质量/属性。在各种情况下，模态增强部件114可通过制作初步训练图像的电子副本并且通过改变/调整初步训练图像的至少一个基于模态的特性来形成/生成中间训练图像。
70.应当理解，当本公开讨论初步训练图像的不同的基于模态的特性时，这可包括初步训练图像的电子副本的不同的基于模态的特性。
71.在各个方面，模态增强部件114可改变/调整/操纵/修改初步训练图像的基于模态的特性的任何合适组合，以创建中间训练图像(例如，每个中间训练图像可通过改变一个基于模态的特性来形成，每个中间训练图像可通过改变多个基于模态的特性来形成，不同的中间训练图像可通过改变不同数量的基于模态的特性来形成，并且/或者至少一个中间训练图像可不涉及任何基于模态的特性的改变)。
72.在各种情况下，变化和/或修改基于模态的特性可对注释的准确性和/或完整性没有影响。因此，从初步训练图像形成的中间训练图像可具有与该初步训练图像相同的注释。
73.在各种实施方案中，合成训练数据生成系统102可包括几何增强部件116。在各个方面，几何增强部件116可基于模态增强部件114生成的该组中间训练图像来生成一组可部署训练图像。具体地讲，几何增强部件116可包括可应用于图像的各种几何变换的列表。在各个方面，几何变换可以是可变换图像的空间属性的任何合适的数学运算。例如，几何变换可包括图像围绕任何合适轴线的反射，图像围绕任何合适轴线的旋转，平移和/或倾斜图像以改变图像的二维投影和/或视角，裁剪图像的任何合适的部分，放大和/或缩小图像，使图像发生光学失真(例如，桶形失真、枕形失真、胡子失真和/或远离直线投影的任何其他合适的失真)等等。在各种情况下，几何增强部件116可通过制作中间训练图像的电子副本并且通过将至少一种几何变换应用于中间训练图像的电子副本来形成/生成可部署训练图像。
74.应当理解，当本文公开内容讨论将几何变换应用于中间训练图像时，这可包括将几何变换应用于中间训练图像的电子副本。
75.在各个方面，几何增强部件116可将几何变换的任何合适组合应用于中间训练图像以创建可部署训练图像(例如，每个可部署训练图像可通过应用一种几何变换来形成，每个可部署训练图像可通过应用多种几何变换来形成，不同的可部署训练图像可通过应用不同数量的几何变换来形成，并且/或者至少一个可部署训练图像可不经历几何变换)。
76.在各种情况下，应用几何变换可对注释的准确性和/或完整性没有影响。因此，从中间训练图像形成的可部署训练图像可具有与该中间训练图像相同的注释。
77.在各种实施方案中，合成训练数据生成系统102可包括训练部件118。在各个方面，训练部件118实际上可在由合成训练数据生成系统102生成的该组可部署训练图像上训练(例如，经由反向传播和/或任何其他合适的技术)机器学习模型106。
78.图2示出了根据本文所述的一个或多个实施方案的包括元素目录的示例性、非限制性系统200的框图，该系统可促进合成训练数据生成以实现改善的机器学习模型泛化能力。如图所示，在一些情况下，系统200可包括与系统100相同的部件，并且还可包括元素目录202和初步训练图像204。
79.在各个方面，元素增强部件112可包括元素目录202。在各种情况下，元素增强部件112可利用元素目录202基于带注释的源图像104来生成初步训练图像204。如上所述，元素目录202可以电子方式存储和/或保持能够插入到带注释的源图像104中的元素/特征的图像。具体地讲，元素目录202可包括感兴趣元素和/或背景元素。在各种情况下，感兴趣元素可以是机器学习模型106应该学习、预测和/或检测的任何合适的视觉对象(例如，如果机器学习模型106被配置为检测患者脑中的堵塞血管，则感兴趣元素可以是堵塞血管的各种图像)。在各个方面，背景元素可以是可阻碍和/或干扰机器学习模型106的任何合适的视觉对象(例如，如果机器学习模型106被配置为检测患者脑中的堵塞血管，则背景元素可以是脑病变的各种图像和/或颅内和/或脑植入物的各种图像)。
80.在各种情况下，存储在元素目录202中的元素可经由任何合适的技术生成和/或可以任何合适的计算机化格式存储。在一些情况下，存储在元素目录202内的元素可以是手绘图形的扫描图像(例如，医疗专业人员可以用手绘出脑部病变、肺结节和/或静脉内管的速写，并且可以电子方式将速写扫描和保存在元素目录202内)。在一些情况下，存储在元素目录202内的元素可以是二维和/或三维计算机辅助设计模型(例如，医疗专业人员可在计算机上生成脑部病变、肺结节和/或静脉管材的二维和/或三维计算机辅助设计模型，并且该二维和/或三维计算机辅助设计模型可以电子方式被保存和/或存储在元素目录202内)。在各个方面，可实现任何其他合适的技术以生成和/或获得元素目录202内的元素(例如，元素目录202内的元素可从现有图像中切除，等等)。
81.在各个方面，如上所述，元素增强部件112可控制和/或操纵元素目录202内的元素的任何合适的视觉特性。例如，元素增强部件112可改变/修改元素目录202中的元素的任何合适的空间维度(例如，长度、宽度、高度、厚度、颜色、阴影、强度等)。又如，元素增强部件112可改变/修改元素目录202中的元素的所描绘和/或所投影的取向(例如，可描绘元素面向前、面向后、倒置面向、面向侧面、围绕任何合适的轴线旋转任何合适的量值、围绕任何合适的轴线反射等等)。在各个方面，如果实现计算机辅助设计模型，则可更实际和/或更完全地促进修改/改变维度和/或取向，如上所述。
82.在各种情况下，如上所述，元素增强部件112可将带注释的源图像104内的插入元素定位在任何合适的生物学上可行的位置(例如，胃气可插入到所描绘的腹腔的任何部分中，但是不能插入到所描绘的胸腔的任何部分中)。因此，在各个方面，元素目录202可将不同元素与不同的在生物学上可行的位置映射和/或相关，并且元素增强部件112可在插入期间基于该映射和/或相关性来定位元素。
83.在各个方面，元素增强部件112可根据任何合适的增强策略和/或方案将元素插入到带注释的源图像104中。
84.在各种情况下，元素目录202可被认为是能够插入到带注释的源图像104中的可能/潜在元素/特征的空间的参数化。换句话讲，可设想可在带注释的源图像104中描绘的所有可能/潜在图像元素/特征的空间，并且可构建和/或配置元素目录202，以便跨越和/或基本上跨越该空间。在各种情况下，这样的参数化空间可取决于机器学习模型106的操作背景(例如，在医学背景下，该空间可包括可在图像中捕获的可能/潜在生物学症状表现和/或可在图像中捕获的可能/潜在医疗设备)。
85.在各种实施方案中，元素增强部件112可更新和/或改变元素目录202(例如，可更
新和/或改变在元素目录202中列出/存储的用于生成初步训练图像204的图像)。例如，在一些情况下，可利用感兴趣元素的一组现有图像和/或背景元素的一组现有图像来将元素目录202初始化。然而，在各个方面，元素增强部件112可周期性地和/或非周期性地查询元素增强部件112可访问的任何合适的数据库和/或数据结构，以检查感兴趣元素的新图像和/或背景元素的新图像是否可用(例如，检查尚未在元素目录202内存储/列出的图像是否可用于检索和/或下载，使得此类新图像可用于生成初步训练图像204)。如果感兴趣元素和/或背景元素的此类新图像在数据库和/或数据结构中可用，则元素增强部件112可检索此类新图像并将其添加到元素目录202中，并且因此可开始将此类新图像插入到带注释的源图像104中以生成初步训练图像204。又如，元素增强部件112可接收来自操作者的输入，该输入包括尚未在元素目录202中存储/列出的感兴趣元素和/或背景元素的新图像。在各个方面，元素增强部件112可因此将新图像添加到元素目录202，并且因此可开始使用新图像来生成初步训练图像204。这样，元素目录202可根据需要更新、改变、修改、编辑和/或修改，以便适应不同的操作背景。
86.例如，假设元素目录202包括肺结节的图像、胃气的图像和呼吸管的图像。因此，元素增强部件112可将肺结节的图像、胃气的图像和呼吸管的图像的不同组合/排列(例如，具有不同的定位和/或取向和/或尺寸)插入到带注释的源图像104中以生成初步训练图像204。在各个方面，元素增强部件112可从任何合适的数据库和/或数据结构检索起搏器的图像(以及/或者可从操作者接收该图像作为输入)。由于起搏器的图像尚未在元素目录202内存储/列出，因此元素增强部件112可将起搏器的图像添加到元素目录202。因此，元素增强部件112可开始将起搏器的图像(例如，具有不同的定位和/或不同的取向和/或不同的尺寸)插入到带注释的源图像104中以生成初步训练图像204。这样，可随时间推移和/或根据需要更新和/或扩大元素目录202。
87.图3至图4示出了根据本文所述的一个或多个实施方案的由带注释的源图像形成的示例性、非限制性初步训练图像300和400的框图。
88.如图3所示，初步训练图像204可由带注释的源图像104生成。在各种情况下，可存在n个初步训练图像204(对于任何合适的整数n)。换句话讲，元素增强部件112可创建带注释的源图像104的n个电子副本，并且可将来自元素目录202的任何合适数量和/或组合/排列的元素插入到带注释的源图像104的n个电子副本中的每个电子副本中，从而生成n个初步训练图像204。如上所述，元素插入的目标可以是增加带注释的源图像104中描绘的特征种类和/或多样性。因此，元素增强部件112可将具有不同取向和/或不同尺寸的不同数量的不同元素插入到带注释的源图像104的不同副本的不同位置中，从而生成初步训练图像204。换句话讲，单个带注释的源图像104可被转换为n个初步训练图像204。
89.如上所述，如果通过仅插入背景元素或通过根本不插入元素来形成特定初步训练图像，则特定初步训练图像的注释可与带注释的源图像104的注释相同(例如，背景元素可对注释的准确性和/或完整性没有影响)。然而，如果通过插入任何感兴趣元素来形成特定初步训练图像，则特定初步训练图像的注释可被初始化为带注释的源图像104的注释，并且可被调整以反映所插入的感兴趣元素。这样，所有初步训练图像204可具有基于带注释的源图像104的注释和/或基于插入元素的注释。
90.图4描绘了示出可如何使用带注释的源图像104来创建初步训练图像204的真实世
界示例。如图所示，可存在初始胸部x光片402。在各种情况下，初始胸部x光片402可被视为带注释的源图像104。在各个方面，可通过将各种元素插入到初始胸部x光片402中来生成不同的胸部x光片404。尽管图4示出了以4
×
4栅格布置的十六个不同胸部x光片404，但这是示例性的和非限制性的。为了便于解释，假设最顶行是行1并且最底行是行4，并且假设最左列是列1并且最右列是列4。如图所示，可通过将各种特征(例如，胃气、肠生长物/cist、结肠癌、消化染料等)插入到初始胸部x光片402的所描绘腹腔中和/或叠加在其上来形成不同胸部x光片404中的(行1，列1)图像、(行1，列4)图像、(行2，列3)图像和(行4，列4)图像。如图所示，可通过将各种特征(例如，静脉内管、呼吸管、心电图导线/引线、起搏器等)插入到初始胸部x光片402的所描绘胸腔中和/或叠加在其上来形成不同胸部x光片404中的(行1，列3)图像、(行2，列1)图像、(行2，列2)图像、(行2，列4)图像、(行3，列4)图像和(行4，列1)图像。如图所示，可通过将各种特征(例如，胸部生长物/节结/包块、流体填充囊、空隙、实变等)插入到初始胸部x光片402的所描绘胸腔中和/或叠加在其上来形成不同胸部x光片404中的(行1，列2)图像、(行3，列1)图像、(行3，列2)图像、(行3，列3)图像和(行4，列2)图像。最后，如图所示，可通过将各种特征(例如，金属螺钉、杆和/或植入物)插入到初始胸部x光片402中和/或叠加在其上来形成不同胸部x光片404中的(行4，列3)图像。
91.总体而言，具有不同尺寸的不同元素可在初始胸部x光片402的不同位置不同地取向，以便产生不同胸部x光片404。
92.图5示出了根据本文所述的一个或多个实施方案的包括基于模态的特性的示例性、非限制性系统500的框图，该系统可促进合成训练数据生成以实现改善的机器学习模型泛化能力。如图所示，在一些情况下，系统500可包括与系统200相同的部件，并且还可包括基于模态的特性502和中间训练图像504。
93.在各个方面，模态增强部件114可包括适用于初步训练图像204的基于模态的特性502的列表。在各种情况下，模态增强部件114可变动、改变和/或修改初步训练图像204的任何基于模态的特性502来生成中间训练图像504。如上所述，基于模态的特性502可包括取决于生成带注释的源图像104的图像捕获设备和/或与之相关的任何合适的图像属性。例如，基于模态的特性502可包括图像表现出的和/或图像中描绘的γ/辐射水平、图像表现出的和/或图像中描绘的亮度水平、图像表现出的和/或图像中描绘的对比度水平、图像表现出的和/或图像中描绘的模糊水平，图像表现出的和/或图像中描绘的噪声水平、图像表现出的和/或图像中描绘的纹理、图像表现出的和/或图像中描绘的视场、图像表现出的和/或图像中描绘的分辨率、图像表现出的和/或图像中描绘的设备伪影(例如，镜片划痕、镜片灰尘、镜片眩光)等等。在各个方面，模态增强部件114可通过变动、改变和/或修改初步训练图像204的任何基于模态的特性502来生成中间训练图像504(例如，可制作每个初步训练图像204的不同电子副本，并且不同电子副本的不同基于模态的特性(例如，502)可以不同方式变动以生成中间训练图像504)。
94.在各种情况下，基于模态的特性502的列表可被认为是取决于生成和/或捕获带注释的源图像104的设备模态的可能/潜在图像属性的空间的参数化。换句话讲，可设想可在图像捕获设备模态之间变化的可能/潜在图像属性的空间，并且可构建和/或配置基于模态的特性502的列表，以便跨越和/或基本上跨越该空间。在各种情况下，这样的参数化空间可取决于机器学习模型106的操作背景。
95.在各种实施方案中，模态增强部件114可更新和/或改变基于模态的特性502的列表(例如，可更新和/或改变与设备模态相关和/或相关联并且用于生成中间训练图像504的可修改图像特性/属性的列表)。例如，在一些情况下，可利用与设备模态相关的一组现有可修改图像特性/属性来将基于模态的特性502的列表初始化。然而，在各个方面，模态增强部件114可周期性地和/或非周期性地查询模态增强部件114可访问的任何合适的数据库和/或数据结构，以检查与设备模态相关的新的可修改图像特性/属性是否可用(例如，检查取决于设备模态并且当前未被标记/标识为可修改的图像特性/属性是否是已知的，使得此类新图像特性/属性可用于生成中间训练图像504)。如果确定与设备模态相关的此类新的可修改的图像特性/属性是可用的，则模态增强部件114可在基于模态的特性502的列表中包括此类新的图像特性/属性，并且因此可在生成中间训练图像504时开始修改此类新的图像特性/属性。又如，模态增强部件114可接收来自操作者的输入，该输入指示基于模态的特性502的列表中尚未包括的新图像特性/属性。在各个方面，模态增强部件114因此可将该新的图像特性/属性添加到基于模态的特性502的列表，并且因此可开始修改该新的特性/属性来生成中间训练图像504。这样，可根据需要更新、改变、修改、编辑和/或修改基于模态的特性502的列表，以便适应不同的操作背景。
96.例如，假设基于模态的特性502的列表包括图像γ/辐射水平、图像亮度水平和图像对比度水平。因此，模态增强部件114可修改和/或改变初步训练图像204的γ/辐射水平、亮度水平和/或对比度水平的不同组合/排列，以便生成中间训练图像504。在各个方面，模态增强部件114可从任何合适的数据库和/或数据结构检索图像模糊水平现在是与设备模态相关的可修改图像属性的指示(和/或可从操作者接收该指示来作为输入)。由于基于模态的特性502的列表尚未包括图像模糊水平，因此模态增强部件114可将图像模糊水平添加到基于模态的特性502的列表。因此，模态增强部件114可开始改变/修改初步训练图像204的图像模糊水平，以便生成中间训练图像504。这样，可随时间推移和/或根据需要更新和/或扩大基于模态的特性502的列表。
97.图6示出了根据本文所述的一个或多个实施方案的由初步训练图像形成的示例性、非限制性中间训练图像600的框图。
98.如图6所示，中间训练图像504可由初步训练图像204生成。在各种情况下，对于每个初步训练图像204，可存在m个中间训练图像504，m是任何合适的整数(例如，由初步训练图像1形成的中间训练图像1_1至中间训练图像1_m；由初步训练图像n形成的中间训练图像n_1至中间训练图像n_m，等等)。换句话讲，模态增强部件114可创建n个初步训练图像204中的每个初步训练图像的m个电子副本，并且可变动、改变和/或修改n个初步训练图像204中的每个初步训练图像的m个电子副本中的每个电子副本的任何合适数量的基于模态的特性(例如，502)，从而生成总共n*m个中间训练图像504。如上所述，基于模态的特性修改的目标可以是增加初步训练图像204中描绘的种类和/或多样性。因此，模态增强部件114可不同地调整初步训练图像204的不同副本的不同基于模态的特性的不同组合/排列，从而生成中间训练图像504。换句话讲，单个带注释的源图像104可被转换为n*m个中间训练图像504。
99.如上所述，对基于模态的特性502中的任一个的修改可对注释的准确性和/或完整性没有影响。因此，由特定初步训练图像形成的特定中间训练图像可具有与该特定初步训练图像相同的注释。
100.图7示出了根据本文所述的一个或多个实施方案的包括几何变换的示例性、非限制性系统700的框图，该系统可促进合成训练数据生成以实现改善的机器学习模型泛化能力。如图所示，在各种情况下，系统700可包括与系统500相同的部件，并且还可包括几何变换702和可部署训练图像704。
101.在各个方面，几何增强部件116可包括适用于中间训练图像504的几何变换702的列表。在各种情况下，几何增强部件116可将任何几何变换702应用于中间训练图像504以生成可部署训练图像704。如上所述，几何变换702可包括可在空间上改变(例如，中间训练图像504的)图像的所描绘的几何的任何合适的数学变换和/或运算。例如，几何变换702的列表可包括围绕任何合适的轴线反射图像，围绕任何合适的轴线将图像旋转任何合适的量值，在任何合适的方向上将图像平移任何合适的量值，在任何合适的方向上将图像倾斜任何合适的量值，以任何合适的量值放大和/或缩小图像的任何合适的部分，以任何合适的方式裁剪图像的任何合适的部分，在任何合适的方向上并且以任何合适的量值扩展图像，在任何合适的方向上并且以任何合适的量值收缩图像，以任何合适的方式并且以任何合适的量值使图像的任何合适的部分失真，以任何合适的方式并且以任何合适的量值对图像进行谐调和/或去谐调，以任何合适的方式对图像应用任何合适的仿射和/或弹性变换，等等。在各个方面，几何增强部件116可通过将几何变换702中的任一种应用于中间训练图像504来生成可部署训练图像704(例如，可制作每个中间训练图像504的不同电子副本，并且可应用不同电子副本的不同几何变换(例如，702)来生成可部署训练图像704)。
102.在各种情况下，几何变换702可被认为是可应用于图像的可能/潜在数学变换的空间的参数化。换句话讲，可设想可应用于图像的可能/潜在数学变换和/或运算的空间，并且可构建和/或配置几何变换702的列表，以便跨越和/或基本上跨越该空间。在各种情况下，这样的参数化空间可取决于机器学习模型106的操作背景。
103.在各种实施方案中，几何增强部件116可更新和/或改变几何变换702的列表(例如，可更新和/或改变用于生成可部署训练图像704的数学运算/变换的列表)。例如，在一些情况下，可利用能够应用于图像的一组现有数学运算/变换来将几何变换702的列表初始化。然而，在各个方面，几何增强部件116可周期性地和/或非周期性地查询几何增强部件116可访问的任何合适的数据库和/或数据结构，以检查能够应用于图像的新数学运算/变换是否可用(例如，检查当前未标记/标识为能够应用于图像的数学运算/变换是否已知，使得此类新的数学运算/变换可用于生成可部署训练图像704)。如果确定此类新的数学运算/变换可用，则几何增强部件116可在几何变换702的列表中包括此类新的数学运算/变换，并且因此可在生成可部署训练图像704时开始应用此类新的数学运算/变换。又如，几何增强部件116可接收来自操作者的输入，该输入指示在几何变换702的列表中尚未包括的新数学运算/变换。在各个方面，几何增强部件116可因此将该新的数学运算/变换添加到几何变换702的列表，并且因此可开始应用该新的数学运算/变换来生成可部署训练图像704。这样，可根据需要更新、改变、修改、编辑和/或修改几何变换702的列表，以便适应不同的操作背景。
104.例如，假设几何变换702的列表包括图像旋转、图像反射和图像倾斜。因此，几何增强部件116可将图像旋转、图像反射和/或图像倾斜的不同组合/排列应用于中间训练图像504，以便生成可部署训练图像704。在各个方面，几何增强部件116可从任何合适的数据库
和/或数据结构检索图像失真现在是可用几何变换的指示(和/或可以从操作者接收该指示来作为输入)。由于几何变换702的列表不包括图像失真，几何增强部件116可将图像失真添加到几何变换702的列表。因此，几何增强部件116可开始将图像失真应用于中间训练图像504，以便生成可部署训练图像704。这样，可随时间推移和/或根据需要更新和/或扩大几何变换702的列表。
105.图8示出了根据本文所述一个或多个实施方案的由中间训练图像形成的示例性、非限制性可部署训练图像800的框图。
106.如图8所示，可从中间训练图像504生成可部署训练图像704。在各种情况下，对于每个中间训练图像504，可存在p个可部署训练图像704，p是任何合适的整数(例如，由中间训练图像1_1形成的可部署训练图像1_1_1至可部署训练图像1_1_p；由中间训练图像n_m形成的可部署训练图像n_m_1至可部署训练图像n_m_p；等等)。换句话讲，几何增强部件116可创建n*m个中间训练图像504中的每个中间训练图像的p个电子副本，并且可将任何合适数量的几何变换(例如，702)应用于n*m个中间训练图像504中的每个中间训练图像的p个电子副本中的每个电子副本，从而生成总共n*m*p个可部署训练图像704。如上所述，几何变换的目标可以是增加中间训练图像504中描绘的种类和/或多样性。因此，几何增强部件116可将不同几何变换的不同组合/排列应用于中间训练图像504的不同副本，从而生成可部署训练图像704。换句话讲，单个带注释的源图像104可被转换为n*m*p个可部署训练图像704。
107.如上所述，几何变换702中的任一种的应用可对注释的准确性和/或完整性没有影响。因此，由特定中间训练图像形成的特定可部署训练图像可具有与该特定中间训练图像相同的注释。
108.如图所示，在各个方面，可部署训练图像704的数量可大于中间训练图像504的数量，中间训练图像的数量可大于初步训练图像204的数量。
109.图9示出了根据本文所述的一个或多个实施方案的基于模态的特性和/或几何特性的示例性、非限制性变型的框图。
110.换句话讲，图9示出了真实世界的示例，其示出可如何使用初步训练图像204来创建中间训练图像504和/或可部署训练图像704。如图所示，可存在增强x光片902。在各种情况下，可如上所述操纵和/或修改增强x光片902的基于模态的特性和/或增强x光片902的几何特性，以创建进一步增强的x光片904。尽管图9示出了以4
×
4栅格布置的十六个进一步增强的x光片904，但这是示例性的和非限制性的。为了便于解释，假设最顶行是行1并且最底行是行4，并且假设最左列是列1并且最右列是列4。如图所示，可通过增大和/或减小增强x光片902的亮度/对比度/γ水平来形成进一步增强的x光片904中的(行1，列3)图像、(行2，列2)图像、(行3，列2)图像、(行4，列1)图像和(行4，列3)图像。如图所示，可通过裁剪、缩放增强的x光片902和/或使其光学失真来形成进一步增强的x光片904中的(行1，列2)图像、(行2，列1)图像、(行2，列3)图像、(行2，列4)图像、(行3，列2)图像、(行3，列3)图像、(行4，列1)图像、(行4，列2)图像、(行4，列3)图像和(行4，列4)图像。在各种情况下，任何其他合适的变换和/或修改是可能的。
111.在各个方面，如上所述，训练部件218可在可部署训练图像704上训练机器学习模型106。
112.图10示出了根据本文所述的一个或多个实施方案的示例性、非限制性实验结果
1000。
113.在各个方面，本主题创新的各种实施方案的发明人如本文所述生成了训练数据集(例如，经由元素/特征插入，经由基于模态的特性修改，经由几何变换)，并且他们的实验表明，与在常规训练数据集上训练相比，在所生成的训练数据集上训练的肺分割机器学习模型(例如，106)表现出显著改善的性能/功效。具体地讲，如图10所示，进行了四次不同的试验，其中期望在大小为138(的原始数据集例如，原始数据集中有138个训练图像)上训练肺分割机器学习模型。进行第一试验，其中仅在原始数据集上训练机器学习模型。进行第二试验，其中执行有限程度的元素/特征插入(例如，由小的绿色环形圈表示)。在该第二试验中，元素/特征插入使得原始数据集从大小138增长到大小1600(例如，在元素/特征插入之后，数据集包括1600个训练图像)。执行第三试验，其中执行更大程度的元素/特征插入(例如，由大的绿色环形圈表示)。在该第三试验中，元素/特征插入使得原始数据集从大小138增长到大小3670。最后，进行第四试验，其中执行更大程度的元素/特征插入，并且其中改变基于模态的特性并且应用几何变换(例如，由蓝色环形圈表示)。在该第四试验中，元素/特征插入、基于模态的特性变化和几何变换使原始数据集从大小138增长到大小73，640。
114.这四个试验中的每个试验的经训练的机器学习模型的各种性能度量在图10中示出。本发明人使用大小为1966的测试数据集来测试经训练的机器学习模型在每个试验中的性能/功效。如图所示，在第一试验(例如，仅训练原始数据大小)中，机器学习模型实现了0.8063的重合率得分(dicescore)；在第二试验(例如，以有限程度实施元素插入)中，机器学习模型实现了0.8309的重合率得分；在第三试验中(例如，实施更大程度的元素插入)，机器学习模型实现了0.8795的重合率得分；并且在第四试验(例如，实施更大程度的元素插入和并且实施基于模态的修改和几何变换)中，机器学习模型实现了0.9135的重合率得分。换句话讲，当在由本主题创新的各种实施方案生成的数据集上训练时，机器学习模型经历显著的性能/功效改善(例如，机器学习模型变得更可推广/稳健，变得更能够处理困难的和/或未见过的测试案例等等)。即，如图10所示，本文所述的用于增加数据集可变性(例如，元素/特征插入、基于模态的变化、几何变换)的技术可独立地和/或共同地改善模型性能。至少由于这些原因，本主题创新的各种实施方案构成具体而且有形的技术改进(例如，它们可改进机器学习模型的计算性能)。
115.图11至图20示出了根据本文所述的一个或多个实施方案的示例性、非限制性图像增强的框图。换句话讲，图11至图20示出了可根据各种实施方案实施的各种元素插入、各种基于模态的变化和/或各种几何变换的真实世界示例。
116.图11描绘了线/缆线1102(例如，心电图引线、静脉内管、呼吸管等)，并且描绘了线/缆线1102可如何在不同位置、以不同取向、以不同尺寸、以不同厚度/强度、以不同形状等插入到各种x光图像1104中和/或叠加在其上。
117.图12描绘了包块1202(例如，流体填充囊、生长物、cist等)，并且描绘了包块1202可如何在不同位置、以不同取向、以不同尺寸、以不同厚度/强度、以不同形状等插入到各种x光图像1204中和/或叠加在其上。
118.图13描绘了包块1302(例如，肿瘤等)，并且描绘了包块1302可如何在不同位置、以不同取向、以不同尺寸、以不同厚度/强度、以不同形状等插入到各种x光图像1304中和/或叠加在其上。
119.图14描绘了胃气1402，并且描绘了胃气1402可如何在不同位置、以不同取向、以不同尺寸、以不同厚度/强度、以不同形状等插入到各种x光图像1404中和/或叠加在其上。如上所述，注意胃气1402可如何插入到各种x光图像1404的腹部区域中，而不是各种x光图像1404的胸部区域中(例如，胃气不能在胸部中形成，而是可在腹部中形成)。
120.图15示出了各种x光图像1500，其中γ/辐射水平连续变化。如图所示，γ/辐射水平在左上x光图像中最高，并且在右下x光图像中最低。
121.图16描绘了高斯噪声水平连续变化的各种x光图像1600。如图所示，高斯噪声水平在左上x光图像中最低，并且在右下x光图像中最高。
122.图17描绘了高斯模糊水平连续变化的各种x光图像1700。如图所示，高斯模糊水平在左上x光图像中最低，并且在右下x光图像中最高。
123.图18示出了对比度水平连续变化的各种x光图像1800。如图所示，对比度在左上x光图像中最低，并且在右下x光图像中最高。
124.图19描绘了亮度水平连续变化的各种x光图像1900。如图所示，亮度水平在左上x光图像中最低，并且在右下x光图像中最高。
125.图20示出了示例性光学失真连续变化的各种x光图像2000。如图所示，光学失真在左上x光图像和右下x光图像中最显而易见。
126.应当理解，图11至图20中示出的增强是示例性的和非限制性的。在各种实施方案中，可实现任何其他合适的增强。
127.图21示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法2100的流程图，该方法可促进合成训练数据生成以实现改善的机器学习模型泛化能力。
128.在各种实施方案中，动作2102可包括由操作地耦接到处理器(例如，112)的设备基于带注释的源图像(例如，104)生成一组带注释的初步训练图像(例如，204)。在各个方面，可通过将至少一个感兴趣元素或至少一个背景元素(例如，来自202)插入到带注释的源图像中来形成带注释的初步训练图像。
129.在各种情况下，动作2104可包括由设备(例如，114)基于该组带注释的初步训练图像生成一组带注释的中间训练图像(例如，504)。在各种情况下，可通过改变带注释的初步训练图像的至少一个基于模态的特性(例如，来自502)来形成带注释的中间训练图像。
130.在各个方面，动作2106可包括由设备(例如，116)基于该组带注释的中间训练图像生成一组带注释的可部署训练图像(例如，704)。在各种情况下，可通过改变带注释的中间训练图像的至少一个几何特性(例如，通过应用702中的任一种)来形成带注释的可部署训练图像。
131.在各种情况下，动作2108可包括由设备(例如，118)在该组带注释的可部署训练图像上训练机器学习模型(例如，106)。
132.图22示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法2200的流程图，该方法可促进合成训练数据生成以实现改善的机器学习模型泛化能力。
133.如上所述，为了便于解释，相对于成像背景(例如，机器学习模型106被配置为分析一个或多个图像)描述了关于如何合成地增加训练数据可变性的本文教导内容。然而，在各
个方面，所述教导内容可应用于利用机器学习模型的任何合适的背景(例如，分析图像的模型，分析声音记录的模型和/或分析任何其他合适类型的数据的模型)。在此类情况下，应当理解，源数据(例如，104)、初步训练数据(例如，204)、中间训练数据(例如，504)、可部署训练数据(例如，704)、元素目录202、基于模态的特性502和/或几何变换702可取决于操作背景(例如，如果机器学习模型106被配置为分析图像，则可实现源图像/训练图像；如果机器学习模型106被配置为分析声音记录，则可实现源/训练声音记录；可插入元素的类型和/或格式、可修改的基于模态的特性和/或数学变换可取决于机器学习模型106被配置为分析的数据的格式；等等)。计算机实现的方法2200展示了这种泛化能力。
134.在各种实施方案中，动作2202可包括由操作地耦接到处理器(例如，112)的设备将潜在数据特征的第一空间(例如，202)参数化。在各种情况下，这些特征可包括可插入到数据段中的感兴趣特征和/或背景特征。
135.在各种情况下，动作2204可包括由设备(例如，114)将潜在的基于模态的数据属性的第二空间(例如，502)参数化。在各种情况下，这些属性可包括与用于捕获和/或生成数据段的特定设备模态相关的数据段的属性。
136.在各个方面，动作2206可包括由设备(例如，116)将潜在(例如，702)数据变换的第三空间参数化。在各种情况下，这些变换可包括可应用于数据段的数学变换和/或运算。
137.在各种实施方案中，动作2208可包括由设备接收具有相关联的注释的源数据段(例如，104)。
138.在各种情况下，动作2210可包括由设备(例如，112)生成一组初步训练数据段(例如，204)，其中可通过将来自第一空间(例如，202)的数据特征插入到源数据段中来形成初步训练数据段。在各种情况下，这可包括从第一空间进行值/状态的第一参数采样，以及将第一参数采样的不同组合/排列应用于源数据段以生成该组初步训练数据段。
139.在各个方面，动作2212可包括由设备(例如，114)生成一组中间训练数据段(例如，504)，其中可通过改变来自初步训练数据段的第二空间(例如，502)的基于模态的数据属性来形成中间训练数据段。在各种情况下，这可包括从第二空间进行值/状态的第二参数采样，以及将第二参数采样的不同组合/排列应用于该组初步训练数据段以生成该组中间训练数据段。
140.在各种实施方案中，动作2214可包括由设备(例如，116)生成一组可部署训练数据段(例如，704)，其中可通过将来自第三空间的数据变换(例如，702)应用于中间训练数据段来形成可部署训练数据段。在各种情况下，这可包括从第三空间进行值/状态的第三参数采样，以及将第三参数采样的不同组合/排列应用于该组中间训练数据段以生成该组可部署训练数据段。
141.在各种情况下，然后可以在该组可部署训练数据段上训练机器学习模型。
142.本主题创新的各种实施方案可通过将模拟空间参数化来实现其技术益处。具体地讲，在各种实施方案中，可能期望在源数据段上训练机器学习模型。在各个方面，可定义模拟空间，其中该模拟空间可被认为是可馈送到待训练的机器学习模型的可能输入数据的域(例如，对于被设计成分析胸部x光图像的机器学习模型，模拟空间可以是具有可馈送到该机器学习模型的不同解剖结构/特征、不同亮度/对比度水平、不同失真水平、不同取向/角度和/或其他不同图像特征的所有可能胸部x光图像的空间；对于被设计成分析语音记录的
机器学习模型，模拟空间可以是具有可馈送到该机器学习模型的不同音量和/或响度/声压水平、不同音高、不同音调和/或其他不同声音特征的所有可能语音记录的空间)。在各种情况下，源数据段可被视为仅表示模拟空间内的一个点(例如，所有可能胸部x光图像的空间中的一个特定胸部x光图像；所有可能语音记录的空间中的一条特定语音记录)。本主题创新的各种实施方案可基于源数据段来自动生成多个可部署训练数据段，使得模拟空间内的许多不同点现在由该多个可部署训练数据段表示(例如，可复制源数据段，并且可操纵和/或调制这些副本，使得它们具有特征和/或属性的各种不同排列/组合，以便更完全地表示模拟空间的多样性)。具体地讲，在各个方面，可通过限定跨越模拟空间的一个或多个可修改的参数来将模拟空间参数化。如本文充分解释的，此类可修改的参数的非限制性示例可包括能够插入带注释的源数据段中的感兴趣数据元素/特征和/或背景数据元素/特征，源数据段的可被调制的基于模态的数据特性/属性，和/或可应用于源数据段的数学变换。在各种情况下，可通过从源数据段开始并且通过将值和/或状态的任何合适的组合和/或排列应用于可修改的参数来生成该多个可部署训练数据段。在各种情况下，结果可以是该多个可部署训练数据段广泛地和/或宽泛地对模拟空间进行采样。换句话讲，该多个可部署训练数据段可表示非常大的模拟空间采样和/或比例(例如，该多个可部署训练图像可表示、捕获和/或近似模拟空间中的值/状态的多样性)。与单独在源数据段上训练机器学习模型相比，在该多个可部署训练数据段上训练机器学习模型可导致改善的性能/功效。
143.例如，考虑以下示例性参数化分层结构。首先，可定义模拟空间(例如，它可以是具有不同数据签名的可能的输入数据段的域，这些数据签名可由所考虑的机器学习模型接收)。接下来，可在模拟空间内定义宽的增强子空间，其中增强子空间包含一个或多个相关的可增强参数。例如，如本文所解释，第一增强子空间可以是可插入数据元素/特征的空间，并且可插入数据元素/特征的空间内的一个或多个相关的可增强参数可包括可插入数据元素/特征的类型(例如，当所涉及的数据是图像时，此类类型的可插入数据元素/特征可包括呼吸管的图像、起搏器的图像、植入物的图像、流体囊的图像、肺生长物的图像、胃气的图像)、可插入数据元素/特征的定位(例如，不同的可插入图像可被插入到不同的图像位置)、可插入数据元素/特征的取向(例如，不同的可插入图像可颠倒、向后、侧向插入)、可插入数据元素/特征的尺寸/强度(例如，不同的可插入图像可以不同的尺寸/形状/厚度插入)等等。又如，第二增强子空间可以是可修改的基于模态的特性的空间，其中可修改的基于模态的特性的空间内的一个或多个相关的可扩展参数包括取决于和/或可其他方式与生成和/或捕获所考虑的源数据段的设备模态相关的任何合适的数据段属性(例如，图像的γ/辐射水平、图像的亮度水平、图像的对比度水平、图像的模糊水平、图像的噪声水平、图像的纹理、图像中的设备伪影)。再如，第三增强子空间可以是数学变换的空间，其中数学变换的空间内的一个或多个相关的可增强参数包括可应用于所考虑的数据段的任何合适的操作(例如，图像旋转、图像反射、图像平移、图像倾斜、图像缩放、图像失真)。在各个方面，每个增强子空间内的一个或多个相关的可增强参数中的每个可增强参数可在值和/或状态的对应连续参量范围内变化。例如，图像的γ/辐射水平可从最小值到最大值连续变化。类似地，图像的对比度水平可从最小值到最大值连续变化。然而，在一些情况下，可增强参数可具有值和/或状态的对应离散范围(例如，模态伪影参数可包括对应于没有描绘伪影的状态，对应于所描绘的镜片眩光的状态，对应于所描绘的镜片划痕的状态，对应于所描绘的镜片眩光
和所描绘的镜片刮痕两者的状态等)。在各个方面，可对来自每个可增强参数的连续(和/或离散)参量范围的值/状态进行参数采样(例如，对于给定数据段，可增强参数可具有一组可能值/状态中的任一个，并且对该可增强参数的参数采样可为该组可能值/状态的任何合适的子集)。例如，图像的γ/辐射水平可从最小值(例如，1个单位)到最大值(例如，1000个单位)连续变化，并且参数采样可包括最小值、最大值，以及最小值和最大值之间的任何合适的规则步长和/或增量(例如，γ水平值的参数采样可以0.1的步长/增量从1开始直到1000)。在各个方面，可通过根据值/状态的此类采样参量范围的任何合适组合和/或排列增强源数据段，来将源数据段转换为多个可部署训练数据段(例如，可制作源数据段的副本，并且可修改不同副本以便具有/表现出来自所采样的参量范围的值/状态的不同排列/组合)。因此，结果可以是，该多个可部署训练数据段比单独的源数据段更充分地跨越和/或表示模拟空间的特征/属性多样性，因此，与常规训练技术相比，在该多个可部署训练数据段上训练机器学习模型可产生更好的模型性能。
144.图23示出了根据本文所述的一个或多个实施方案的示例性、非限制性增强空间分层结构2300的框图，该分层结构可促进合成训练数据生成以实现改善的机器学习模型泛化能力。在各个方面，图23可有助于示出上文所讨论的一些方面。
145.在各种实施方案中，可期望训练机器学习模型(例如，106)。因此，在各种情况下，可定义模拟空间2302。在一些情况下，模拟空间2302可以是可由待训练的机器学习模型接收和/或分析的所有可能的输入数据段的域(例如，如果机器学习模型被配置为分析脑部ct扫描，那么模拟空间2302可以是具有不同脑形状、不同解剖特征/属性、不同疾病状态、不同像素值等的所有可能的脑部ct扫描的域)。
146.在各个方面，模拟空间2302可分解成一组增强子空间2304。在各个方面，如图所示，可为模拟空间2302定义x个增强子空间，x为任何合适的整数(例如，增强子空间1到增强子空间x)。在各种情况下，每个增强子空间可被视为共同构成模拟空间2302的相关和可增强参数的空间。如上文充分解释的，此类增强子空间的非限制性示例可包括元素/特征子空间(例如，与能够插入到数据段中的数据元素/特征相关的可增强参数的集合)、基于模态的子空间(例如，与捕获/生成数据段并且可针对数据段进行调制的设备模态的设置相关的可增强参数的集合)和/或数据变换子空间(例如，与可应用于数据段的数学运算相关的可增强参数的集合)。
147.在各个方面，每个增强子空间可包括一组可增强参数。如图所示，增强子空间1可包括一组可增强参数2306(例如，可增强参数1_1到可增强参数1_y，y为任何合适的整数)。类似地，增强子空间x可包括一组可增强参数2308(例如，可增强参数x_1到可增强参数x_y，y为任何合适的整数)。尽管图23将该组可增强参数2306和该组可增强参数2308示出为具有相同数量的参数(例如，y个)，但这是示例性的和非限制性的。在各个方面，每组可增强参数可具有任何合适数量的可增强参数(例如，一些组具有相同数量的参数，一些组具有不同数量的参数，等等)。如上文充分解释的，此类可增强参数的非限制性示例可包括以下内容：元素/特征增强子空间可包括元素/特征类型、元素/特征定位、元素/特征尺寸、元素/特征取向、元素/特征强度等作为可增强参数；基于模态的子空间可包括亮度水平、对比度水平、噪声/模糊水平、分辨率水平、设备伪影等作为可增强参数；数据变换子空间可包括反射操作、旋转操作、平移/倾斜/缩放操作、失真操作等作为可增强参数。
148.在各个方面，如图所示，每个可增强参数可具有其自身的可能值/状态的参量范围。例如，可增强参数1_1可具有可增强参数1_1的可能值/状态的相关联参量范围，可增强参数1_y可具有可增强参数1_y的可能值/状态的参量范围，可增强参数x_1可具有可增强参数x_1的可能值/状态的参量范围，可增强参数x_y可具有可增强参数x_y的可能值/状态的参量范围，等等。作为非限制性示例，元素/特征子空间中的可增强参数可以是类型，并且可能值/状态的对应参量范围可以是可以插入到数据段中的元素/特征的所有可能类型(例如，起搏器的图像、植入物的图像、呼吸管的图像、心电图导线的图像、肺生长物的图像、流体囊的图像、胃气的图像等)。作为另一个非限制性示例，元素/特征子空间中的可增强参数可以是定位，并且可能值/状态的对应参量范围可以是数据段内的可以插入元素/特征的所有可能位置(例如，图像左上角、图像右下角、图像中间等)。又如，元素/特征子空间中的可增强参数可以是取向，并且可能值/状态的对应参量范围可以是元素/特征在插入到数据段中时可具有的所有可能的取向(例如，右侧向上、倒置、向后、侧向、倾斜等)。又如，基于模态的子空间中的可增强参数可以是亮度，并且可能值/状态的对应参量范围可以是数据段可具有的所有可能的亮度水平(例如，量值从最小亮度到最大亮度的连续范围)。再如，基于模态的子空间中的可增强参数可以是对比度，并且可能值/状态的对应参量范围可以是数据段可具有的所有可能的对比度水平(例如，量值从最小对比度到最大对比度的连续范围)。再又如，基于模态的子空间中的可增强参数可以是设备伪影，并且可能值/状态的对应参量范围可以是数据段可具有的所有可能的设备伪影(例如，不同尺寸/位置的镜片眩光、不同尺寸/位置的镜片刮痕、不同尺寸/位置的其他镜片遮挡物如灰尘/污垢、伪影的组合、无伪影等)。又如，数据变换子空间中的可增强参数可以是反射，并且可能值/状态的对应参量范围可以是可应用于数据段的所有可能的反射(例如，水平反射、垂直反射、围绕任何其他合适的轴线的反射等)。再如，数据变换子空间中的可扩展参数可以是旋转，并且可能值/状态的对应参量范围可以是可应用于数据段的所有可能的旋转(例如，量值从最小角度旋转到最大角度旋转的连续范围)。再又如，数据变换子空间中的可扩展参数可以是失真，并且可能值/状态的对应参量范围可以是可应用于数据段的所有可能的失真(例如，不同量值的桶形失真、不同量值的胡子失真、不同量值的枕形失真、失真的组合、无失真等)。
149.在各个方面，可将可增强参数1_1的可能值/状态的参量范围和可增强参数1_y的可能值/状态的参量范围视为一组可能值/状态的参量范围2310，该组参量范围对应于该组可增强参数2306。在各种情况下，该组可能值/状态的参量范围2310可被认为是跨越增强子空间1的所有可能值/状态。类似地，可增强参数x_1的可能值/状态的参量范围和可增强参数x_y的可能值/状态的参量范围可被认为是一组可能值/状态的参量范围2312，该组参量范围对应于该组可增强参数2308。在各种情况下，该组可能值/状态的参量范围2312可被视为跨越增强子空间x的所有可能值/状态。因此，在一些情况下，可能值/状态的参量范围组2310和2312可被共同视为跨越模拟空间2302。
150.在各种实施方案中，可获取每个可能值/状态的参量范围的样本。例如，可从可增强参数1_1的可能值/状态的参量范围中获取可增强参数1_1的值/状态的采样范围，可从可增强参数1_y的可能值/状态的参量范围中获取可增强参数1_y的值/状态的采样范围，可从可增强参数x_1的可能值/状态的参量范围中获取可增强参数x_1的值/状态的采样范围，可从可增强参数x_y的可能值/状态的参量范围中获取可增强参数x_y的值/状态的采样范围，
等等。在各个方面，对于可能值/状态的给定参量范围，值/状态的采样范围可以是可能值/状态的该给定参量范围的任何合适的子集。在各种情况下，此类值/状态的采样范围可用于生成如本文所述的可部署训练数据段。换句话讲，可操纵训练数据段的属性/特性，以采用在值/状态的采样范围内表示的值/状态的任何合适的组合/排列。在各个方面，可将可增强参数1_1的值/状态的采样范围和可增强参数1_y的值/状态的采样范围视为一组值/状态的采样范围2314，该组采样范围对应于该组可能值/状态的参量范围2310。类似地，可将可增强参数x_1的值/状态的采样范围和可增强参数x_y的值/状态的采样范围视为一组值/状态的采样范围2316，该组采样范围对应于该组可能值/状态的参量范围2312。在一些情况下，值/状态的采样范围的集合2314和2316可被共同视为表示和/或近似模拟空间2302的值/状态的总组和/或集合(例如，表示和/或近似模拟空间2302内的数据特征、数据属性和/或数据特性的多样性和/或可变性；在一些情况下，根据采样范围的基数、分辨率和/或步长，这可以是模拟空间2302的多样性和/或可变性的粗略近似和/或精细近似)。
151.如上所述，当基于值/状态的采样范围集合2314和2316合成地生成可部署训练数据段时，该可部署训练数据段可更完全地近似和/或表示模拟空间2302的可变性和/或多样性。因此，与传统训练技术相比，在此类可部署训练数据段上训练感兴趣机器学习模型可改善模型功效/性能。
152.在各个方面，本主题创新的实施方案可被认为是用于将模拟空间(例如，2302)分解成增强子空间(例如，2304)，用于将增强子空间分解成可增强参数(例如，2306、2308)，用于定义这些可增强参数的可能值/状态的参量范围(例如，2310、2312)，用于对这些可能值/状态的参量范围进行采样(例如，2314、2316)，以及用于将这些采样的参量范围应用于训练数据段，使得这些训练数据段充分地跨越、表示和/或捕获整个模拟空间的可变性和/或多样性的稳健和/或有条理的技术。
153.如上所述，在各个方面，本主题创新的实施方案可更新、改变和/或编辑模拟空间2302的参数化(例如，通过在该组增强子空间2304中定义和/或创建新的和/或不同的增强子空间，通过为每个增强子空间定义和/或创建新的和/或不同的可增强参数，通过改变每个可增强参数的可能值/状态的参量范围，和/或通过获取每个可增强参数的可能值/状态的参量范围的不同样本)。
154.尽管本主题创新的各种实施方案在本文中被描述为以特定顺序应用图像/数据增强(例如，首先是元素插入，然后是基于模态的调制，最后是几何变换)，但这是示例性的、非限制性的，并且是为了便于解释。在各个方面，此类图像/数据增强可以任何合适的顺序执行。
155.机器学习模型泛化能力可以是任何人工智能项目的重要方面。但是泛化能力可取决于带注释的训练数据的可用性和/或种类。本主题创新的各种实施方案提供了可基于给定的带注释的训练数据来合成地生成不同训练数据的系统和/或技术。在各个方面，可如本文所述应用确定性数据增强来合成地生成此类不同训练数据。具体地讲，可以任何合适的顺序执行元素/特征插入、基于模态的调制和几何变换来合成地产生大容量而且多种多样的训练数据。如本文所解释，在此类合成地生成的训练数据上训练机器学习模型可导致显著的性能/功效改善。可实现这种性能/功效改善，因为所公开的数据增强可使得合成地生成的训练数据模拟和/或近似机器学习模型在操作期间可能遇到的真实世界可变性。
156.在各种实施方案中，可选择来自源数据集的图像。在各个方面，可对所选图像执行元素/特征插入、基于模态的变化和/或几何变换的任何合适的排列和/或组合，以生成可部署训练图像。在各个方面，可实施控制如何增强每个图像的任何合适的增强策略/方案。在各个方面，增强策略的每个参数可具有其自己要应用的值的范围(例如，在0度和360度之间的旋转，在50微瓦和250微瓦之间的γ等)。在一些情况下，各种增强可具有相关联的执行概率(例如，意味着可针对少于所有图像执行增强)。在各个方面，可实施任何合适的增强策略/方案以便改善/模拟真实世界数据可变性。在一些情况下，可基于数据维数来制定不同的增强策略(例如，用于一维、二维、三维等的不同策略)。
157.如上所示，关于带注释的源图像104描述了本主题创新的各种实施方案。具体地讲，本主题创新的各种实施方案可基于带注释的源图像104快速而且自动地生成一组可部署训练图像704，其中该组可部署训练图像704可用于促进机器学习模型106的有监督的训练。然而，在各种其他实施方案中，可基于未注释的源图像(图中未示出)来生成可部署训练图像704。在这种情况下，可部署训练图像704可不含注释/标签，因此可用于促进机器学习模型106的无监督训练和/或强化学习。换句话讲，本领域的普通技术人员将会理解，本文的教导内容可应用于带注释的源图像以及未注释的源图像。
158.为了为本文所述的各种实施方案提供附加上下文，图24和以下讨论旨在提供可在其中实现本文所述的实施方案的各种实施方案的合适计算环境2400的简要一般描述。虽然上文已在可在一个或多个计算机上运行的计算机可执行指令的一般上下文中描述了实施方案，但本领域的技术人员将认识到，这些实施方案也可与其他程序模块结合和/或作为硬件和软件的组合来实现。
159.通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域的技术人员将会理解，本发明的方法可以用其他计算机系统配置来实践，包括单处理器或多处理器计算机系统、小型计算机、大型计算机、物联网(iot)设备、分布式计算系统，以及个人计算机、手持计算设备、基于微处理器的或可编程的消费电子产品等，它们中的每一个可操作地耦接到一个或多个相关联的设备。
160.本文实施方案的所例示的实施方案还可以在分布式计算环境中实践，在该环境中，由通过通信网络链接的远程处理设备执行特定任务。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
161.计算设备通常包括各种介质，该各种介质可以包括计算机可读存储介质、机器可读存储介质和/或通信介质，其中在本文中这两个术语的使用彼此不同，如下所述。计算机可读存储介质或机器可读存储介质可以是可由计算机访问的任何可用存储介质，并且包括易失性和非易失性介质、可移动和不可移动介质。以举例的方式而非限制，计算机可读存储介质或机器可读存储介质可以结合用于存储信息诸如计算机可读或机器可读指令、程序模块、结构化数据或非结构化数据的任何方法或技术来实现。
162.计算机可读存储介质可以包括但不限于随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存存储器或其他存储器技术、光盘只读存储器(cd-rom)、数字通用盘(dvd)、蓝光盘(bd)或其他光盘存储装置、磁带盒、磁带、磁盘存储器或其他磁存储设备、固态驱动器或其他固态存储设备或可用于存储所需信息的其他有形和/或非暂态介质。就这一点而言，本文中应用于存储装置、存储器或计算机可读介质的
术语“有形”或“非暂态”应理解为仅排除传播暂态信号本身作为修饰语，并且不放弃不仅是传播暂态信号本身的所有标准存储装置、存储器或计算机可读介质的权利。
163.计算机可读存储介质可以由一个或多个本地或远程计算设备访问，例如，通过访问请求、查询或其他数据检索协议，以实现关于由介质存储的信息的各种操作。
164.通信介质通常在数据信号中包含计算机可读指令、数据结构、程序模块或其他结构化或非结构化数据，该数据信号可以是诸如调制数据信号，例如载波或其他传输机制，并包括任何信息传递或传输介质。术语“调制数据信号”或“信号”是指设置或改变其一个或多个特征以在一个或多个信号中编码信息的信号。以举例的方式而非限制，通信介质包括有线介质，诸如有线网络或直接有线连接，以及无线介质，诸如声学、rf、红外和其他无线介质。
165.再次参考图24，用于实现本文所述方面的各种实施方案的示例性环境2400包括计算机2402，该计算机2402包括处理单元2404、系统存储器2406和系统总线2408。系统总线2408将包括但不限于系统存储器2406的系统部件耦接到处理单元2404。处理单元2404可以是各种可商购获得的处理器中的任何一种处理器。双微处理器和其他多处理器架构也可用作处理单元2404。
166.系统总线2408可以是可使用多种可商购获得的总线架构中的任一种总线架构进一步互连到存储器总线(具有或不具有存储器控制器)、外围总线和局部总线的若干类型的总线结构中的任一种总线结构。系统存储器2406包括rom 2410和ram 2412。基本输入/输出系统(bios)可存储在非易失性存储器诸如rom、可擦除可编程只读存储器(eprom)、eeprom中，其中bios包含基本例程，该基本例程有助于诸如在启动期间在计算机2402内的元件之间传输信息。ram 2412还可包括高速ram，诸如用于高速缓存数据的静态ram。
167.计算机2402还包括内部硬盘驱动器(hdd)2414(例如，eide、sata)、一个或多个外部存储设备2416(例如，磁软盘驱动器(fdd)2416、记忆棒或闪存驱动器阅读器、存储卡读卡器等)和驱动器2420，例如诸如固态驱动器、光盘驱动器，其可以从磁盘2422(诸如cd-rom盘、dvd、bd等)读取或写入。另选地，在涉及固态驱动器的情况下，除非分开，否则将不包括磁盘2422。虽然内部hdd 2414被示出为位于计算机2402内，但内部hdd 2414也可被配置为在合适的基础结构(未示出)中用于外部使用。另外，虽然在环境2400中未示出，但固态驱动器(ssd)可作为hdd 2414的补充或替代使用。hdd 2414、外部存储设备2416和驱动器2420可分别通过hdd接口2424、外部存储接口2426和驱动器接口2428连接到系统总线2408。用于外部驱动具体实施的接口2424可包括通用串行总线(usb)和电气与电子工程师协会(ieee)1394接口技术中的至少一者或两者。其他外部驱动连接技术在本文所述的实施方案的设想内。
168.驱动器及其相关联的计算机可读存储介质提供数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机2402，驱动器和存储介质以合适的数字格式容纳任何数据的存储。尽管上文对计算机可读存储介质的描述涉及相应类型的存储设备，但本领域的技术人员应当理解，计算机可读的其他类型的存储介质(无论是目前存在的还是将来开发的)都也可用于示例性操作环境中，并且此外，任何此类存储介质可包含用于执行本文所述的方法的计算机可执行指令。
169.多个程序模块可存储在驱动器和ram 2412中，包括操作系统2430、一个或多个应
用程序2432、其他程序模块2434和程序数据2436。操作系统、应用程序、模块和/或数据的全部或部分也可被高速缓存在ram 2412中。本文所述的系统和方法可利用各种可商购获得的操作系统或操作系统的组合来实现。
170.计算机2402可任选地包括仿真技术。例如，超级管理程序(未示出)或其他中介可仿真用于操作系统2430的硬件环境，并且仿真的硬件可任选地不同于图24所示的硬件。在此类实施方案中，操作系统2430可包括在计算机2402处托管的多个虚拟机(vm)中的一个vm。此外，操作系统2430可为应用程序2432提供运行时环境，诸如java运行时环境或.net框架。运行时环境是允许应用程序2432在包括运行时环境的任何操作系统上运行的相符执行环境。类似地，操作系统2430可以支持容器，并且应用程序2432可以采用容器的形式，其是轻质的、独立的、可执行的软件包，该软件包包括例如用于应用程序的代码、运行时、系统工具、系统库和设置。
171.此外，计算机2402可利用安全模块诸如可信处理模块(tpm)来启用。例如，在tpm的情况下，引导部件在下一次引导部件中散列化，并且在加载下一个引导部件之前等待结果与安全值的匹配。该过程可发生在计算机2402的代码执行栈中的任何层，例如应用于应用程序执行层级或操作系统(os)内核层级，从而实现任何代码执行层级的安全性。
172.用户可通过一个或多个有线/无线输入设备(例如，键盘2438、触摸屏2440和指向设备诸如鼠标2442)将命令和信息输入到计算机2402中。其他输入设备(未示出)可包括麦克风、红外(ir)遥控器、射频(rf)遥控器或其他遥控器、操纵杆、虚拟现实控制器和/或虚拟现实头戴式耳机、游戏板、触笔、图像输入设备(例如相机)、手势传感器输入设备、视觉移动传感器输入设备、情绪或面部检测设备、生物识别输入设备(例如指纹或虹膜扫描仪)等。这些和其他输入设备通常通过输入设备接口2444连接到处理单元2404，该输入设备接口可耦接到系统总线2408，但这些和其他输入设备可通过其他接口连接，诸如并行端口、ieee 1394串行端口、游戏端口、usb端口、ir接口、接口等。
173.监视器2446或其他类型的显示设备也可经由接口(诸如视频适配器2448)连接到系统总线2408。除了监视器2446之外，计算机通常包括其他外围输出设备(未示出)，诸如扬声器、打印机等。
174.计算机2402可使用经由有线和/或无线通信到一个或多个远程计算机(诸如，远程计算机2450)的逻辑连接而在联网环境中操作。远程计算机2450可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他公共网络节点，并且通常包括相对于计算机2402所述的许多或所有元件，但为了简洁起见，仅示出了存储器/存储设备2452。所描绘的逻辑连接包括到局域网(lan)2454和/或更大网络(例如，广域网(wan)2456)的有线/无线连接。此类lan和wan联网环境常见于办公室和公司中，并且有利于企业范围内的计算机网络，诸如内联网，所有这些网络均可连接到全球通信网络，例如互联网。
175.当在lan联网环境中使用时，计算机2402可通过有线和/或无线通信网络接口或适配器2458连接到本地网络2454。适配器2458可促进与lan 2454的有线或无线通信，该lan还可包括设置在其上的无线接入点(ap)，用于在无线模式下与适配器2458通信。
176.当在wan联网环境中使用时，计算机2402可包括调制解调器2460或可经由用于通过wan 2456建立通信的其他装置(诸如通过互联网)连接到wan 2456上的通信服务器。调制
解调器2460(其可为内部或外部的以及有线或无线设备)可经由输入设备接口2444连接到系统总线2408。在联网环境中，相对于计算机2402或其部分示出的程序模块可存储在远程存储器/存储设备2452中。应当理解，所示的网络连接是示例，并且可使用在计算机之间建立通信链路的其他装置。
177.当在lan或wan联网环境中使用时，除了如上所述的外部存储设备2416之外或作为其替代，计算机2402可访问云存储系统或其他基于网络的存储系统，诸如但不限于提供信息存储或处理的一个或多个方面的网络虚拟机。一般来讲，计算机2402与云存储系统之间的连接可例如分别通过适配器2458或调制解调器2460通过lan 2454或wan 2456建立。在将计算机2402连接到相关联的云存储系统时，外部存储接口2426可在适配器2458和/或调制解调器2460的帮助下管理由云存储系统提供的存储，如同其他类型的外部存储装置那样。例如，外部存储接口2426可被配置为提供对云存储源的访问，如同这些源物理地连接到计算机2402一样。
178.计算机2402可操作为与以无线通信方式操作地设置的任何无线设备或实体通信，例如打印机、扫描仪、台式计算机和/或便携式计算机、便携式数据助理、通信卫星、与无线可检测标签(例如，自助服务机、书报亭、商店货架等)相关联的任何设备或位置。这可包括无线保真(wi-fi)和无线技术。因此，通信可以是与常规网络一样的预定义结构，或者仅仅是至少两个设备之间的自组织通信。
179.图25是所公开的主题可以与其交互的样本计算环境2500的示意性框图。该样本计算环境2500包括一个或多个客户端2510。客户端2510可以是硬件和/或软件(例如，线程、进程、计算设备)。样本计算环境2500还包括一个或多个服务器2530。服务器2530还可以是硬件和/或软件(例如，线程、进程、计算设备)。例如，服务器2530可以容纳线程以通过采用本文所述的一个或多个实施方案来执行转换。客户端2510和服务器2530之间的一种可能的通信可以是适合于在两个或更多个计算机进程之间传输的数据分组的形式。样本计算环境2500包括可用于促进客户端2510和服务器2530之间的通信的通信框架2550。客户端2510可操作地连接到一个或多个客户端数据存储库2520，该客户端数据存储库可用于存储客户端2510本地的信息。类似地，服务器2530可操作地连接到一个或多个服务器数据存储库2540，该服务器数据存储库可用于存储服务器2530本地的信息。
180.本发明可以是在集成的任何可能技术细节水平上的系统、方法、装置和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令以用于致使处理器执行本发明的方面的计算机可读存储介质(或多个介质)。计算机可读存储介质可以是有形设备，该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或前述的任何适当组合。计算机可读存储介质的更具体示例的不完全列表还可包括以下各项：便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存存储器)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能磁盘(dvd)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构)，以及上述项的任何适当组合。如本文所用，计算机可读存储介质不应被理解为是暂态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。
181.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。用于执行本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(isa)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据或以一种或多种编程语言(包括面向对象的编程语言，诸如smalltalk、c++等)和过程编程语言(诸如“c”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)、或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本发明的方面。
182.本文参考根据本发明实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。应当理解，流程图图示和/或框图的每个框，以及流程图图示和/或框图中的框的组合可由计算机可读程序指令来实现。可以将这些计算机可读程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置、和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。也可将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以致使一系列操作动作在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
183.附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能具体实施的架构、功能性和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些另选具体实施中，框中所指出的功能可不按图中所指出的顺序发生。例如，实际上可基本上同时执行连续示出的两个框，或者有时可能以相反顺序执行这些框，具体取决于所涉及的功能性。还需要说明的是，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可由执行特定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
184.尽管上面已经在一个和/或多个计算机上运行的计算机程序产品的计算机可执行
指令的一般上下文中描述了本主题，但本领域技术人员将认识到，本公开内容也可以或可以与其他程序模块结合来实现。通常，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域技术人员将理解，可以用其他计算机系统配置来实践本发明的计算机实现方法，这些计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如，pda、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面还可在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
185.如本技术中所用，术语“部件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。通过举例说明的方式，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可以驻留在进程和/或执行的线程内，并且部件可以位于一台计算机上和/或分布在两台或更多台计算机之间。在另一个示例中，相应部件可以根据其上存储有各种数据结构的各种计算机可读介质执行。部件可以经由本地和/或远程进程进行通信，诸如根据具有一个或多个数据分组的信号(例如，来自一个部件的数据，该部件在本地系统、分布式系统和/或网络(诸如，经由信号与其他系统的互联网)中与另一个部件交互)。作为另一个示例，部件可以是具有由电气或电子电路操作的机械零件提供的特定功能的装置，该电气或电子电路由处理器所执行的软件或固件应用程序操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又一个示例，部件可以是通过电子部件而非机械零件提供特定功能的装置，其中电子部件可以包括处理器或用于执行至少部分地赋予电子部件功能性的软件或固件的其他装置。在一个方面，部件可以例如在云计算系统内经由虚拟机来仿真电子部件。
186.此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有指明或从上下文中清楚，否则“x采用a或b”旨在表示任何自然的包含性置换。也就是说，如果x采用a；x采用b；或者x采用a和b两者，则在任何前述情况下都满足“x采用a或b”。此外，本说明书和附图中使用的冠词“一”和“一个”通常应解释为是指“一个或多个”，除非另有指明或从上下文中清楚是指单数形式。如本文中所用，利用术语“示例”和/或“示例性”来表示用作示例、实例或说明。为了避免疑问，本文所公开的主题不受此类示例的限制。此外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或有利，也不意味着排除本领域普通技术人员已知的等效示例性结构和技术。
187.如在本说明书中采用的，术语“处理器”可以基本上指任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(asic)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑控制器(plc)、复杂可编程逻辑设备(cpld)、分立栅极或晶体管逻辑部件、分立硬件部件、或被设计为执行本文所述的功能的其
任意组合。另外，处理器可以利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。在本公开中，术语诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”、以及与部件的操作和功能相关的基本上任何其他信息存储部件用于指代“存储器部件”、体现在“存储器”中的实体、或包括存储器的部件。应当认识到，本文所述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。以举例说明而非限制的方式，非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除rom(eeprom)、闪存存储器、或非易失性随机存取存储器(ram)(例如，铁电ram(feram))。例如，易失性存储器可以包括ram，其可以充当外部高速缓存存储器。以举例说明而非限制的方式，ram能以多种形式提供，诸如同步ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)、增强型sdram(esdram)、synchlinkdram(sldram)、直接rambus ram(drram)、直接rambus动态ram(drdram)和rambus动态ram(rdram)。另外，本文所公开的系统或计算机实现的方法的存储器部件旨在包括但不限于包括这些和任何其他合适类型的存储器。
188.上面已经描述的内容仅包括系统和计算机实现方法的示例。当然，无法为了描述本公开的目的而描述部件或计算机实现方法的每种可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多进一步组合和置换是可能的。此外，关于在具体实施方式、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包括性的，如“包括”在权利要求中被用作过渡词时那样解释。
189.已经出于说明的目的给出了各种实施方案的描述，但这些描述并不旨在是穷举的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变型对于本领域的普通技术人员而言将是显而易见的。选择本文使用的术语是以最好地解释实施方案的原理、优于市场上发现的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。
190.在以下主题中提供了受权利要求书保护的主题创新的各种实施方案的另外方面：
191.1.一种系统，包括：处理器，所述处理器执行存储在存储器中的计算机可执行部件，所述计算机可执行部件包括：元素增强部件，所述元素增强部件基于带注释的源图像生成一组带注释的初步训练图像，其中通过将至少一个感兴趣元素或至少一个背景元素插入到所述带注释的源图像中来形成带注释的初步训练图像；模态增强部件，所述模态增强部件基于所述一组带注释的初步训练图像生成一组带注释的中间训练图像，其中通过改变带注释的初步训练图像的至少一个基于模态的特性来形成带注释的中间训练图像；和几何增强部件，所述几何增强部件基于所述一组带注释的中间训练图像生成一组带注释的可部署训练图像，其中通过改变带注释的中间训练图像的至少一个几何特性来形成带注释的可部署训练图像。
192.2.根据任一前述条款所述的系统，其中所述计算机可执行部件还包括：训练部件，所述训练部件在所述一组带注释的可部署训练图像上训练机器学习模型。
193.3.根据任一前述条款所述的系统，其中所述元素增强部件维护元素目录，所述元素目录列出可能的感兴趣元素的一组图像并且列出能够插入到所述带注释的源图像中的可能的背景元素的一组图像，其中所述模态增强部件维护能够在所述初步训练图像中修改
的基于模态的特性的列表，并且其中所述几何增强部件维护能够应用于所述中间训练图像的几何变换的列表。
194.4.根据任一前述条款所述的系统，其中所述元素增强部件通过在所述元素目录内包括感兴趣元素的新图像或背景元素的新图像来更新所述元素目录，其中所述模态增强部件通过在所述基于模态的特性的列表内包括与设备模态相关的新图像属性来更新所述基于模态的特性的列表，并且其中所述几何增强部件通过在所述几何变换的列表内包括能够应用于图像的新操作来更新所述几何变换的列表。
195.5.根据任一前述条款所述的系统，其中所述至少一个感兴趣元素或所述至少一个背景元素是医疗设备或生物学症状表现。
196.6.根据任一前述条款所述的系统，其中所述元素增强部件将所述至少一个感兴趣元素或所述至少一个背景元素随机定位在所述带注释的源图像内的在生物学上可行的位置的范围内。
197.7.根据任一前述条款所述的系统，其中所述改变所述至少一个基于模态的特性包括改变图像γ水平、改变图像模糊水平、改变图像亮度水平、改变图像对比度水平、改变图像噪声水平、改变图像纹理、改变图像分辨率、改变图像视场或应用模态伪影。
198.8.根据任一前述条款所述的系统，其中所述改变所述至少一个几何特性包括围绕图像轴线旋转、围绕图像轴线反射、图像放大、图像平移、图像倾斜或图像失真。
199.9.一种计算机实现的方法，包括：由操作地耦接到处理器的设备基于带注释的源图像生成一组带注释的初步训练图像，其中通过将至少一个感兴趣元素或至少一个背景元素插入到所述带注释的源图像中来形成带注释的初步训练图像；由所述设备基于所述一组带注释的初步训练图像生成一组带注释的中间训练图像，其中通过改变带注释的初步训练图像的至少一个基于模态的特性来形成带注释的中间训练图像；以及由所述设备基于所述一组带注释的中间训练图像生成一组带注释的可部署训练图像，其中通过改变带注释的中间训练图像的至少一个几何特性来形成带注释的可部署训练图像。
200.10.根据任一前述条款所述的计算机实现的方法，还包括：由所述设备在所述一组带注释的可部署训练图像上训练机器学习模型。
201.11.根据任一前述条款所述的计算机实现的方法，还包括：由所述设备维护元素目录，所述元素目录列出可能的感兴趣元素的一组图像并且列出能够插入到所述带注释的源图像中的可能的背景元素的一组图像；由所述设备维护能够在所述初步训练图像中修改的基于模态的特性的列表；以及由所述设备维护能够应用于所述中间训练图像的几何变换的列表。
202.12.根据任一前述条款所述的计算机实现的方法，还包括：由所述设备通过在所述元素目录内包括感兴趣元素的新图像或背景元素的新图像来更新所述元素目录；由所述设备通过在所述基于模态的特性的列表内包括与设备模态相关的新图像属性来更新所述基于模态的特性的列表；以及由所述设备通过在所述几何变换的列表内包括能够应用于图像的新操作来更新所述几何变换的列表。
203.13.根据任一前述条款所述的计算机实现的方法，其中所述至少一个感兴趣元素或所述至少一个背景元素是医疗设备或生物学症状表现。
204.14.根据任一前述条款所述的计算机实现的方法，还包括：由所述设备将所述至少
一个感兴趣元素或所述至少一个背景元素随机定位在所述带注释的源图像内的在生物学上可行的位置的范围内。
205.15.根据任一前述条款所述的计算机实现的方法，其中所述改变所述至少一个基于模态的特性包括改变图像γ水平、改变图像模糊水平、改变图像亮度水平、改变图像对比度水平、改变图像噪声水平、改变图像纹理、改变图像分辨率、改变图像视场或应用模态伪影。
206.16.根据任一前述条款所述的计算机实现的方法，其中所述改变所述至少一个几何特性包括围绕图像轴线旋转、围绕图像轴线反射、图像放大、图像平移、图像倾斜或图像失真。
207.17.一种用于促进合成训练数据生成以实现改善的机器学习泛化能力的计算机程序产品，所述计算机程序产品包括计算机可读存储器，所述计算机可读存储器具有利用其体现的程序指令，所述程序指令能够由处理器执行以使所述处理器：通过定义一组增强子空间来将数据段的模拟空间参数化，其中每个增强子空间包括对应的一组可增强参数，并且其中每个可增强参数具有可能值或状态的对应参量范围；接收源数据段；对于每个可增强参数，对对应于所述可增强参数的可能值或状态的参量范围进行采样，从而产生表示所述模拟空间的值或状态的采样范围的集合；以及通过将值或状态的所述采样范围的集合应用于所述源数据段的副本来生成一组训练数据段。
208.18.根据任一前述条款所述的计算机程序产品，其中所述程序指令能够进一步执行以使所述处理器：在所述一组训练数据段上训练机器学习模型。
209.19.根据任一前述条款所述的计算机程序产品，其中所述程序指令能够进一步执行以使所述处理器：通过定义新的增强子空间来更新所述模拟空间的所述参数化。
210.20.根据任一前述条款所述的计算机程序产品，其中所述程序指令能够进一步执行以使所述处理器：通过在所述一组增强子空间内定义新的可增强参数来更新所述模拟空间的所述参数化。

技术特征：
1.一种系统，包括：处理器，所述处理器执行存储在存储器中的计算机可执行部件，所述计算机可执行部件包括：元素增强部件，所述元素增强部件基于带注释的源图像生成一组带注释的初步训练图像，其中通过将至少一个感兴趣元素或至少一个背景元素插入到所述带注释的源图像中来形成带注释的初步训练图像；模态增强部件，所述模态增强部件基于所述一组带注释的初步训练图像生成一组带注释的中间训练图像，其中通过改变带注释的初步训练图像的至少一个基于模态的特性来形成带注释的中间训练图像；和几何增强部件，所述几何增强部件基于所述一组带注释的中间训练图像生成一组带注释的可部署训练图像，其中通过改变带注释的中间训练图像的至少一个几何特性来形成带注释的可部署训练图像。2.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：训练部件，所述训练部件在所述一组带注释的可部署训练图像上训练机器学习模型。3.根据权利要求1所述的系统，其中所述元素增强部件维护元素目录，所述元素目录列出可能的感兴趣元素的一组图像并且列出能够插入到所述带注释的源图像中的可能的背景元素的一组图像，其中所述模态增强部件维护能够在所述初步训练图像中修改的基于模态的特性的列表，并且其中所述几何增强部件维护能够应用于所述中间训练图像的几何变换的列表。4.根据权利要求3所述的系统，其中所述元素增强部件通过在所述元素目录内包括感兴趣元素的新图像或背景元素的新图像来更新所述元素目录，其中所述模态增强部件通过在所述基于模态的特性的列表内包括与设备模态相关的新图像属性来更新所述基于模态的特性的列表，并且其中所述几何增强部件通过在所述几何变换的列表内包括能够应用于图像的新操作来更新所述几何变换的列表。5.根据权利要求1所述的系统，其中所述至少一个感兴趣元素或所述至少一个背景元素是医疗设备或生物学症状表现。6.根据权利要求1所述的系统，其中所述元素增强部件将所述至少一个感兴趣元素或所述至少一个背景元素随机定位在所述带注释的源图像内的在生物学上可行的位置的范围内。7.根据权利要求1所述的系统，其中所述改变所述至少一个基于模态的特性包括改变图像γ水平、改变图像模糊水平、改变图像亮度水平、改变图像对比度水平、改变图像噪声水平、改变图像纹理、改变图像分辨率、改变图像视场或应用模态伪影。8.根据权利要求1所述的系统，其中所述改变所述至少一个几何特性包括围绕图像轴线旋转、围绕图像轴线反射、图像放大、图像平移、图像倾斜或图像失真。9.一种计算机实现的方法，包括：由操作地耦接到处理器的设备基于带注释的源图像生成一组带注释的初步训练图像，其中通过将至少一个感兴趣元素或至少一个背景元素插入到所述带注释的源图像中来形成带注释的初步训练图像；由所述设备基于所述一组带注释的初步训练图像生成一组带注释的中间训练图像，其
中通过改变带注释的初步训练图像的至少一个基于模态的特性来形成带注释的中间训练图像；以及由所述设备基于所述一组带注释的中间训练图像生成一组带注释的可部署训练图像，其中通过改变带注释的中间训练图像的至少一个几何特性来形成带注释的可部署训练图像。10.一种用于促进合成训练数据生成以实现改善的机器学习泛化能力的计算机程序产品，所述计算机程序产品包括计算机可读存储器，所述计算机可读存储器具有利用其体现的程序指令，所述程序指令能够由处理器执行以使所述处理器：通过定义一组增强子空间来将数据段的模拟空间参数化，其中每个增强子空间包括对应的一组可增强参数，并且其中每个可增强参数具有可能值或状态的对应参量范围；接收源数据段；对于每个可增强参数，对对应于所述可增强参数的可能值或状态的参量范围进行采样，从而产生表示所述模拟空间的值或状态的采样范围的集合；以及通过将值或状态的所述采样范围的集合应用于所述源数据段的副本来生成一组训练数据段。11.根据权利要求10所述的计算机程序产品，其中所述程序指令能够进一步执行以使所述处理器：在所述一组训练数据段上训练机器学习模型。12.根据权利要求10所述的计算机程序产品，其中所述程序指令能够进一步执行以使所述处理器：通过定义新的增强子空间来更新所述模拟空间的所述参数化。13.根据权利要求10所述的计算机程序产品，其中所述程序指令能够进一步执行以使所述处理器：通过在所述一组增强子空间内定义新的可增强参数来更新所述模拟空间的所述参数化。

技术总结
本发明题为“用于改善机器学习模型泛化能力的合成训练数据生成”。本发明提供了促进合成训练数据生成以实现改善的机器学习泛化能力的系统和技术。在各种实施方案中，元素增强部件可基于带注释的源图像生成一组带注释的初步训练图像。在各个方面，可通过将至少一个感兴趣元素或至少一个背景元素插入到带注释的源图像中来形成带注释的初步训练图像。在各种情况下，模态增强部件可基于该组带注释的初步训练图像生成一组带注释的中间训练图像。在各种情况下，可通过改变带注释的初步训练图像的至少一个基于模态的特性来形成带注释的中间训练图像。在各个方面，几何增强部件可基于该组带注释的中间训练图像生成一组带注释的可部署训练图像。在各种情况下，可通过改变带注释的中间训练图像的至少一个几何特性来形成带注释的可部署训练图像。在各种实施方案中，训练部件可在该组带注释的可部署训练图像上训练机器学习模型。上训练机器学习模型。上训练机器学习模型。


技术研发人员：拉维
受保护的技术使用者：通用电气精准医疗有限责任公司
技术研发日：2021.08.20
技术公布日：2022/3/8