医疗图像处理装置的制作方法

医疗图像处理装置
1.本技术是申请日为2018年4月12日，国家申请号为201880033364.6(国际申请号为pct/jp2018/015361)，发明名称为“医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置”的发明专利申请的分案申请。
技术领域
2.本发明涉及一种使用医疗图像而提供用于通知用户的通知信息的医疗图像处理装置。


背景技术：

3.在当前的医疗领域中，如具备光源装置、内窥镜及处理器装置的内窥镜系统等，使用医疗图像的医疗图像处理装置逐渐普及。并且，近年，还进行通过对医疗图像进行图像分析，检测成为诊断对象的关注区域，并通知用户。此外，还进行通知与被摄体或医疗图像相关的错误信息、被摄体的观察状态、病变的有无及种类等。
4.如上所述，当将用于通知用户的通知信息显示于显示器来提供时，要求尽可能不阻碍用户对医疗图像的观察。与此相对，例如，如专利文献1所示，参考使主画面中的操作光标不与子画面重叠的技术，而考虑使医疗图像中需关注的区域与通知信息不重叠。并且，如专利文献2所示，参考时钟等将必要信息的显示经过一定时间后设为非显示的技术，而考虑将通知信息经过一定时间后设为非显示。并且，如专利文献3所示，参考检测到异常时从正常图像切换为异常消息的技术，而考虑出现错误信息时停止医疗图像的显示并且仅显示通知信息。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2011-096084号公报
8.专利文献2：日本特开2007-243275号公报
9.专利文献3：日本特公平7-027481号公报


技术实现要素：

10.发明要解决的技术课题
11.当对用户提供通知信息时，如上所述，除了尽可能不阻碍用户对医疗图像的观察以外，需要防止忽略关注区域或保持观察时所需注意力。因此，如专利文献2，当将通知信息设为非显示时，可能会忽略关注区域。并且，如专利文献3，即使在停止了医疗图像的显示的情况下，也可能会忽略关注区域。另外，关于专利文献1，操作光标所处的区域不一定限于关注区域，因此显示通知信息的子画面与关注区域可能会重叠。
12.本发明的目的在于提供一种不阻碍用户对医疗图像的观察，且能够防止忽略关注区域，并且能够保持观察时所需注意力的医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置。
13.用于解决技术课题的手段
14.本发明的医疗图像处理装置具有：图像获取部，其获取包含被摄体的医疗图像；
15.显示部，其将所述医疗图像显示于第1显示区域；以及显示控制部，其进行在所述显示部中显示用于通知用户的通知信息的控制、或在所述显示部中不显示所述通知信息的控制，所述显示控制部进行在与所述第1显示区域不同的第2显示区域中显示所述通知信息的控制、或将显示中的所述通知信息改为不显示的控制，当满足了第1条件时，所述显示控制部进行在所述第1显示区域中显示所述通知信息的控制，当满足了与所述第1条件不同的第2条件时，所述显示控制部进行将在所述第1显示区域中显示中的所述通知信息改为不显示、且在所述第2显示区域中显示所述通知信息的控制。
16.优选该医疗图像处理装置具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述第1条件是所述关注区域的位置脱离了所述第1显示区域的中心范围的情况，所述第2条件是所述关注区域的位置进入到所述第1显示区域的中心范围内的情况。
17.优选该医疗图像处理装置具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述第1条件是所述关注区域的随时间的变化量超过变化量用阈值的情况，所述第2条件是所述关注区域的随时间的变化量为所述变化量用阈值以下的情况。
18.优选该医疗图像处理装置具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述第1条件是所述关注区域的亮度值为亮度值用阈值以下的情况，所述第2条件是所述关注区域的亮度值超过所述亮度值用阈值的情况。
19.优选所述第1条件是在所述第1显示区域中显示所述通知信息的第1显示时间为显示限制时间以下的情况，所述第2条件是所述第1显示时间超过了所述显示限制时间的情况。
20.优选该医疗图像处理装置具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述第1条件是组合了所述关注区域的面积、所述关注区域的位置、所述关注区域的随时间的变化量、所述关注区域的亮度值以及在所述第1显示区域中显示所述通知信息的第1显示时间中的至少两个的组合信息满足组合用条件的情况，优选所述第2条件是所述组合信息不满足所述组合用条件的情况。
21.优选所述第1条件是组合了所述关注区域的面积与所述关注区域的亮度值的面积亮度组合信息满足面积亮度用组合条件的情况，所述第2条件是所述面积亮度组合信息不满足所述面积亮度用组合条件的情况。
22.优选所述显示控制部进行在所述第1显示区域中将所述通知信息与所述医疗图像重叠显示的控制。
23.优选具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述通知信息为用于通知与所述关注区域相关的信息的通知信息。
24.优选所述通知信息为病变的有无、病变的种类或处置器具的检测状况。
25.优选所述通知信息与所述医疗图像重叠保存。
26.优选该医疗图像处理装置具有特征量图像生成部，该特征量图像生成部通过基于照射白色频带的光或照射多个波长频带的光作为所述白色频带的光而获得的普通光图像以及照射特定波长频带的光而获得的特殊光图像中的至少一方的运算，生成特征量图像，
所述医疗图像为所述特征量图像。
27.优选所述关注区域的随时间的变化量是在特定时间内关注区域移动的移动量。
28.优选该医疗图像处理装置具有从所述医疗图像检测错误信息的错误信息检测用图像分析部，所述错误信息是所述医疗图像上出现的模糊或者是所述被摄体的污垢，所述通知信息包含有用于通知所述错误信息的信息。
29.优选所述关注区域的随时间的变化量是在特定时间内关注区域移动的移动量，该医疗图像处理装置还具有从所述医疗图像检测错误信息的错误信息检测用图像分析部，所述错误信息是所述医疗图像上出现的模糊或者是所述被摄体的污垢，所述通知信息包括用于通知所述错误信息的信息。
30.发明效果
31.根据本发明，不阻碍用户对医疗图像的观察，且能够防止忽略关注区域，并且能够保持观察时所需注意力。
附图说明
32.图1是内窥镜系统的外观图。
33.图2是内窥镜系统的框图。
34.图3是表示第1实施方式的图像处理部的框图。
35.图4是表示通知信息之一即边界框的说明图。
36.图5是表示显示器中的第1显示区域a1及第2显示区域a2的图像图。
37.图6(a)是关注区域的面积较小时作为通知信息显示边界框的图像图，图6(b)是关注区域的面积较大时作为通知信息显示图标的图像图。
38.图7(a)是关注区域脱离了中心范围时作为通知信息显示边界框的图像图，图7(b)是关注区域进入到中心范围内时作为通知信息显示图标的图像图。
39.图8(a)是关注区域的移动较慢时作为通知信息显示图标的图像图，图8(b)是关注区域的移动较快时作为通知信息显示边界框的图像图。
40.图9是表示与通知信息的显示控制相关的一系列流程的流程图。
41.图10是表示第2实施方式的图像处理部的框图。
42.图11是作为通知信息显示“模糊产生”的文字信息的图像图。
43.图12是表示第3实施方式的图像处理部的框图。
44.图13是作为通知信息显示“白色光模式”的文字信息的图像图。
45.图14是表示第4实施方式的图像处理部的框图。
46.图15是表示鉴别评价值及拖动条的说明图。
47.图16是作为通知信息示出鉴别评价值及拖动条的图像图。
具体实施方式
48.[第1实施方式]
[0049]
如图1所示，内窥镜系统10具备内窥镜12、光源装置14、处理器装置16、显示器18及控制台19。内窥镜12对观察对象即被摄体照射照明光，并拍摄照用明光照射的被摄体。光源装置14产生用于照射被摄体的照明光。处理器装置16进行内窥镜系统10的系统控制及图像
处理等。显示器18为显示从处理器装置16输出的图像的显示部。如键盘等，控制台19为进行向处理器装置16等的设定输入等的输入设备。
[0050]
内窥镜12具有插入于受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过操作操作部12b的弯角钮12e，弯曲部12c弯曲。通过弯曲部12c弯曲，前端部12d朝向所期望的方向。在前端部12d设置有朝向被摄体喷射空气或水等的喷射口(未图示)。
[0051]
并且，在操作部12b除了弯角钮12e以外，还设置有变焦操作部13。通过操作变焦操作部13，能够放大或缩小地拍摄被摄体。并且，从插入部12a遍及前端部12d设置有用于插入贯通处置器具等的钳子通道(未图示)。处置器具从钳子入口12f插入于钳子通道内。
[0052]
如图2所示，光源装置14具备光源部20及光源控制部22。光源部20发光用于照明被摄体的照明光。光源部20具备一个或多个光源。光源控制部22控制光源部20的驱动。光源控制部22分别独立地控制构成光源部20的光源的点亮或熄灭的定时及点亮时的发光量等。其结果，光源部20能够发射发光量或发光定时不同的多种照明光。
[0053]
光源部20发光的照明光入射于光导件41。光导件41内置于内窥镜12及通用塞绳内，且将照明光传播至内窥镜12的前端部12d。通用塞绳为连接内窥镜12与光源装置14及处理器装置16的塞绳。另外，作为光导件41，能够使用多模光纤。作为一例，能够使用芯部直径105μm、包层直径125μm及包含成为外皮的保护层的直径的细经的光缆。
[0054]
在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜45，并且照明光经由该照明透镜45朝向被摄体射出。摄像光学系统30b具有物镜46、变焦透镜47及图像传感器48。图像传感器48经由物镜46及变焦透镜47并利用从被摄体返回的照明光的反射光等(除了反射光以外，还包含散射光、被摄体发出的荧光或由注入到被摄体内等的药剂引起的荧光等)拍摄被摄体。变焦透镜47通过操作变焦操作部13而移动，且放大或缩小使用图像传感器48而拍摄的被摄体。
[0055]
图像传感器48例如为具有原色系滤色器的彩色传感器，且具备具有蓝色滤色器的b像素(蓝色像素)、具有绿色滤色器的g像素(绿色像素)及具有红色滤色器的r像素(红色像素)这三种像素。蓝色滤色器主要透射紫色至蓝色的光。绿色滤色器主要透射绿色的光。红色滤色器主要透射红色的光。如上所述，若使用原色系图像传感器48拍摄被摄体，则最多能够同时获得从b像素获得的b图像(蓝色图像)、从g像素获得的g图像(绿色图像)及从r像素获得的r图像(红色图像)这三种图像。
[0056]
另外，作为图像传感器48，能够利用ccd(charge coupled device/电荷耦合器件)传感器或cmos(complementary metal oxide semiconductor/互补金属氧化物半导体)传感器。并且，本实施方式的图像传感器48为原色系彩色传感器，但也能够使用补色系彩色传感器。补色系彩色传感器例如具有设置有青色滤色器的青色像素、设置有品红色滤色器的品红色像素、设置有黄色滤色器的黄色像素及设置有绿色滤色器的绿色像素。当使用补色系彩色传感器时，若进行补色-原色颜色转换，则上述各颜色的像素获得的图像能够转换为b图像、g图像及r图像。并且，代替彩色传感器，能够将不设置滤色器的单色传感器用作图像传感器48。在该情况下，通过使用bgr等各颜色的照明光依次拍摄被摄体，能够获得上述各颜色的图像。
[0057]
处理器装置16具有控制部52、图像获取部54、图像处理部61、显示控制部66、记录
控制部68及保存用存储器69。控制部52进行照明光照射定时与摄像定时的同步控制等内窥镜系统10的集中控制。并且，当使用控制台19等输入各种设定等时，控制部52将该设定输入于光源控制部22、图像传感器48或图像处理部61等内窥镜系统10的各部。
[0058]
图像获取部54从图像传感器48获取拍摄了被摄体的图像。通过该图像获取部54获取的图像为通过如内窥镜12那样的医疗用装置获得的图像，因此称为医疗图像。图像获取部54具有dsp(digital signal processor/数字信号处理器)56、降噪部58及转换部59，并根据需要，使用它们对所获取的医疗图像实施各种处理。根据需要，dsp56对所获取的医疗图像实施缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽马转换处理、去马赛克处理及yc转换处理等各种处理。
[0059]
缺陷校正处理为对与图像传感器48的缺陷像素对应的像素的像素值进行校正的处理。偏移处理为从实施了缺陷校正处理的图像减少暗电流分量并设定准确的零电平的处理。增益校正处理为通过对进行了偏移处理的图像乘以增益而调整各图像的信号电平的处理。线性矩阵处理为提高进行了偏移处理的图像的颜色再现性的处理，伽马转换处理为调整线性矩阵处理后的图像的亮度或彩度的处理。
[0060]
另外，当图像传感器48为彩色传感器时，进行去马赛克处理。去马赛克处理(也被称为各向同性处理或同步处理)为对缺失像素的像素值进行插值的处理，并且对伽马转换处理后的图像实施。缺失像素是指，因滤色器的排列引起(由于在图像传感器48中配置有其他颜色的像素)而没有像素值的像素。例如，b图像为在b像素中拍摄被摄体而获得的图像，因此在与g像素或r像素对应的位置的像素没有像素值。去马赛克处理对b图像进行插值而生成位于图像传感器48的g像素及r像素的位置的像素的像素值。yc转换处理为将去马赛克处理后的图像转换为亮度通道y和色差通道cb及色差通道cr的处理。
[0061]
降噪部58对亮度通道y、色差通道cb及色差通道cr例如使用移动平均法或中值滤波法等实施降噪处理。转换部59将降噪处理后的亮度通道y、色差通道cb及色差通道cr再次转换为bgr的各颜色的图像。
[0062]
图像处理部61对图像获取部54获取的医疗图像实施各种图像处理。在本实施方式中，在图像处理部61中，生成用于通知用户的通知信息。图像处理部61将通知信息及医疗图像传送至显示控制部66或记录控制部68。关于图像处理部61的详细内容，将在后面叙述。
[0063]
显示控制部66将从图像处理部61传送的通知信息及医疗信息转换为适合于显示器18中显示的格式并输出至显示器18。由此，在显示器18中至少显示医疗图像及通知信息。在本实施方式中，显示控制部66进行将通知信息显示于显示器18的控制或从显示器18将通知信息设为非显示的控制。关于显示控制部66的详细内容，将在后面叙述。
[0064]
记录控制部68将从图像处理部61传送的通知信息及医疗图像转换为适合于保存用存储器69中保存的格式并记录于保存用存储器69。在记录控制部68中，当按照显示控制部66中的控制进行记录控制时，有时与显示控制部66中的控制无关地进行记录控制。当按照显示控制部66中的控制进行记录控制时，例如，以通过显示控制部66显示了通知信息的定时，在该时点的通知信息及医疗图像通过记录控制部68保存于保存用存储器69。另一方面，当与显示控制部66中的控制无关地进行记录控制时，例如，以在图像处理部61中检测到关注区域的定时，在该时点的通知信息及医疗图像通过记录控制部68保存于保存用存储器69。
[0065]
另外，当将通知信息及医疗图像保存于保存用存储器69时，可以设为将通知信息与医疗图像重叠保存于保存用存储器69的方式，也可以设为将这些通知信息及医疗图像至少作为两个不同数据来保存于保存用存储器69的方式。并且，当将通知信息与医疗图像汇总为一个数据来保存于保存用存储器69时，优选以png、exif、gif、mp4等数据格式来保存。
[0066]
如图3所示，图像处理部61具备关注区域检测部70及通知信息生成部72。关注区域检测部70从医疗图像作为检查或诊断的对象检测需关注的关注区域。在关注区域检测部70中，例如，除了对医疗图像进行convolutional neural network(卷积神经网络)以外，以由医疗图像的颜色信息、像素值的梯度等获得的特征量为基础，还进行关注区域的检测。另外，像素值的梯度等例如通过被摄体的形状(粘膜的大部分起伏或局部凹陷或隆起等)、颜色(由炎症、出血、发红或萎缩引起的白化等的颜色)、组织的特征(血管的粗细、深度、密度或它们的组合等)或结构的特征(凹坑图案等)等来表现变化。
[0067]
另外，通过关注区域检测部70检测的关注区域例如为以癌为代表的病变部、良性肿瘤部、炎症部(除了所谓的炎症以外，还包含存在出血或萎缩等变化的部分)、因加热而导致的烧灼痕迹或通过基于着色剂及荧光药剂等的着色进行打标的打标部或实施了活体检查(所谓的活检)的活检实施部的区域。即，包含病变的区域、存在病变的可能性的区域、活检等进行了某些处置的区域、夹子或镊子等处置器具或暗部区域(由于是褶皱(皱纹)的背面、管腔深部而观察光难以到达的区域)等与病变的可能性无关地需要详细观察的区域等能够成为关注区域。在内窥镜系统10中，关注区域检测部70将包含病变部、良性肿瘤部、炎症部、打标部或活检实施部中至少任一个的区域作为关注区域来检测。
[0068]
通知信息生成部72以通过关注区域检测部70检测到的关注区域为基础，生成用于通知与关注区域相关的信息的通知信息。具体而言，如图4所示，作为通知信息，生成以点线包围关注区域roi的矩形状的边界框74。此外，作为通知信息，也可以生成表示关注区域的箭头或表示检测关注区域中的图标(参考图6的图标76)等。并且，作为通知信息，也可以设为与能够将关注区与其他区域区别的颜色相关的颜色信息。另外，通知信息生成部72优选生成适合于显示控制的多个通知信息，以便根据显示控制部66中的显示控制能够显示不同的通知信息。
[0069]
如图5所示，显示控制部66进行在显示器18的第1显示区域a1显示医疗图像的控制。并且，显示控制部66进行将通知信息显示于显示器18上的控制及从显示器18上将显示中的通知信息设为非显示的控制。具体而言，显示控制部66进行在第1显示区域a1显示通知信息并从第1显示区域将显示中的通知信息设为非显示的控制。并且，显示控制部66进行在与显示器18中的第1显示区域不同的第2显示区域a2显示通知信息并将显示中的通知信息设为非显示的控制。另外，在将通知信息显示于第1显示区域a1时，优选通知信息与医疗图像重叠显示。
[0070]
并且，显示控制部66进行在第1显示区域a1及第2显示区域a2这两者显示通知信息并从第1显示区域a1或第2显示区域a2中的至少一个区域将显示中的通知信息设为非显示的控制。另外，显示控制部66进行如下控制，即，当在第1显示区域a1显示通知信息时，通知信息与在第1显示区域a1显示中的医疗图像重叠显示。
[0071]
在此，第1显示区域a1为至少包含位于内窥镜12前方的被摄体的像的区域。第2显示区域a2为至少包含位于内窥镜12的大致侧方或后方的被摄体的区域。在本实施方式中，
第1显示区域a1为桶型区域，第2显示区域a2为从显示器18的整个画面去掉桶型第1显示区域a1的区域。
[0072]
显示控制部66以通知信息的显示不阻碍关注区域的观察的方式进行通知信息的显示控制。具体而言，显示控制部66为如下方式，即，当满足第1条件时，在第1显示区域a1显示通知信息，当满足与第1条件不同的第2条件时，将在第1显示区域显示中的通知信息设为非显示，且在第2显示区域a2显示通知信息。
[0073]
例如，第1条件可以是关注区域的面积为面积用阈值以下的情况，第2条件可以是关注区域的面积超过面积用阈值的情况。在该情况下，如图6(a)所示，当关注区域roi的面积成为面积用阈值以下时(满足第1条件时)，显示控制部66进行作为通知信息将包围关注区域roi的边界框74重叠显示于第1显示区域a1的控制。如此，通过重叠显示边界框74，即使在关注区域roi较小的情况下，用户也能够可靠地识别关注区域。
[0074]
然后，若通过内窥镜12的操作而显示于第1显示区域a1的医疗图像发生变化，则伴随于此关注区域的面积也发生变化。在该情况下，若医疗图像上的关注区域变大，则与此相应地边界框74也会变大，因此有时如此变大的边界框74会阻碍医疗图像的观察。因此，如图6(b)所示，当关注区域roi的面积超过面积用阈值时(满足第2条件时)，显示控制部66从第1显示区域a1将边界框74设为非显示。并且，显示控制部66作为通知信息，将表示检测关注区域roi中的图标76显示于第2显示区域a2。由此，即便从第1显示区域a1边界框74成为非显示，也能够防止忽略关注区域。
[0075]
并且，第1条件可以是关注区域的位置脱离了第1显示区域a1的中心范围的情况，第2条件可以是关注区域的位置进入到第1显示区域a1的中心范围内的情况。在此，第1显示区域a1的中心范围cr是指从第1显示区域的中心cp至预先设定的距离l1为止的范围(参考图7(a))。如图7(a)所示，当关注区域roi的位置脱离了中心范围cr时(满足第1条件时)，用户难以识别关注区域roi，因此作为通知信息，重叠显示包围关注区域roi的边界框74。
[0076]
然后，若通过内窥镜12的操作而显示于第1显示区域a1的医疗图像发生变化，则伴随于此关注区域的位置也发生变化。在该情况下，若脱离了中心范围cr的关注区域进入到中心范围cr内，则即便没有边界框74，也会变得用户能够识别关注区域。因此，如图7(b)所示，当关注区域roi进入到中心范围cr内时(满足第2条件时)，显示控制部66从第1显示区域a1将边界框74设为非显示。并且，显示控制部66作为通知信息，将表示检测关注区域roi中的图标76显示于第2显示区域a2。由此，即便从第1显示区域a1边界框74成为非显示，也能够防止忽略关注区域。
[0077]
并且，第1条件可以是关注区域的随时间的变化量超过变化量用阈值的情况，第2条件可以是关注区域的随时间的变化量为变化量用阈值以下的情况。在此，关注区域的随时间的变化量例如是指在特定时间内关注区域移动的移动量。如图8(a)所示，当关注区域roi的随时间的变化量为变化量用阈值以下时(满足第2条件时)，显示控制部66作为通知信息，将表示检测关注区域roi中的图标76显示于第2显示区域a2。如此，当关注区域的移动较慢时，用户能够掌握关注区域，因此优选仅以图标76显示来提醒注意。
[0078]
而且，当关注区域的移动变快时，如图8(b)所示，显示控制部66以关注区域roi的随时间的变化量超过变化量用阈值为契机(满足第1条件时)，作为通知信息，将包围关注区域roi的边界框74显示于第1显示区域a1。由此，即便关注区域的移动变快，也会变得用户能
够掌握关注区域的位置而可靠地进行诊断。
[0079]
并且，第1条件可以是关注区域的亮度值为亮度值用阈值以下的情况，第2条件可以是关注区域的亮度值超过亮度值用阈值的情况。在此，关注区域的亮度值例如是指，关注区域中所包含的像素的像素值的平均值或由关注区域中所包含的像素的像素值获得的像素值的最频值等的代表值。在观察显示于医疗图像上的关注区域时，当关注区域的亮度值较低时，变得用户难以识别关注区域。因此，当关注区域的亮度值为亮度值用阈值以下时(满足第1条件时)，显示控制部66作为通知信息，将包围关注区域的边界框(与图6等的边界框74相同)显示于第1显示区域a1。由此，即使在关注区域较暗的情况下，也会变得能够识别关注区域而可靠地进行诊断。
[0080]
另一方面，当关注区域的亮度值较高时，即便没有边界框等通知关注区域位置的信息，用户也能够识别关注区域。在这种情况下，当关注区域的亮度值超过亮度值用阈值时(满足第2条件时)，显示控制部66将在第1显示区域a1显示中的边界框设为非显示。并且，显示控制部66作为通知信息，将表示检测关注区域中的图标(与图6等的图标76相同)显示于第2显示区域a2。由此，即便从第1显示区域a1边界框74成为非显示，也能够防止忽略关注区域。
[0081]
并且，当以关注区域的检测为契机将通知信息显示于第1显示区域a1时，可以将第1条件设为将通知信息显示于第1显示区域a1的第1显示时间在预先设定的显示限制时间内的情况，可以将第2条件设为第1显示时间超过了显示限制时间的情况。在此，第1显示时间以在第1显示区域a1开始显示通知信息为契机而得到计时。
[0082]
当第1显示时间在显示限制时间内时(满足第1条件时)，显示控制部66作为通知信息，将包围关注区域的边界框(与图6等的边界框74相同)显示于第1显示区域a1。并且，当第1显示时间超过了显示限制时间时(满足第2条件时)，显示控制部66从第1显示区域a1将边界框设为非显示。并且，显示控制部66作为通知信息，将表示检测关注区域中的图标(与图6等的图标76相同)显示于第2显示区域a2。由此，只要在一定时间的期间显示边界框，则用户能够识别关注区域，因此在经过一定时间后，通过将边界框设为非显示，变得不会阻碍医疗图像的观察。并且，即便从第1显示区域a1边界框74成为非显示，通过在第2显示区域a2显示图标，能够防止忽略关注区域。
[0083]
并且，第1条件可以是通过用户输入而将显示通知信息的区域指定为第1显示区域a1的情况，第2条件可以是通过用户输入而将显示通知信息的区域指定为第2显示区域a2的情况。用户输入除了通过控制台19以外，还通过设置于内窥镜12的操作部12b的显示区域指定部(未图示)进行。当进行了指定第1显示区域a1时(满足第1条件时)，显示控制部66以关注区域的检测中为条件，将通知信息显示于第1显示区域a1。当进行了指定第2显示区域a2时(满足第2条件时)，显示控制部66以关注区域的检测中为条件，将通知信息显示于第2显示区域a2。在该情况下，当在指定第2显示区域a2之前，在第1显示区域a1显示有通知信息时，也可以从第1显示区域a1将通知信息设为非显示。
[0084]
另外，作为第1条件可以设为组合了关注区域的面积、关注区域的位置、关注区域的随时间的变化量、关注区域的亮度值及第1显示时间中的至少两个的组合信息满足组合用条件的情况，作为第2条件可以设为前述组合信息不满足组合用条件的情况。例如，作为第1条件可以设为组合了关注区域的面积与关注区域的亮度值的面积亮度组合信息满足面
积亮度用组合条件的情况，作为第2条件可以设为组合了关注区域的面积与关注区域的亮度值的面积亮度组合信息不满足面积亮度用组合条件的情况。
[0085]
在此，作为面积亮度组合信息满足面积亮度用组合条件的情况(满足第1条件时)，设为关注区域的面积为面积用阈值以下，且关注区域的亮度值为亮度值用阈值以下。在该情况下，显示控制部66作为通知信息，将包围关注区域的边界框(与图6等的边界框74相同)显示于第1显示区域a1。
[0086]
另一方面，作为面积亮度组合信息不满足面积亮度用组合条件的情况(满足第2条件时)，设为关注区域的面积超过面积用阈值且关注区域的亮度值为亮度值用阈值以下的情况、关注区域的面积为面积用阈值以下且关注区域的亮度值超过亮度值用阈值的情况、关注区域的面积超过面积用阈值且关注区域的亮度值超过亮度值用阈值的情况。在该情况下，显示控制部66从第1显示区域a1将边界框设为非显示。并且，显示控制部66作为通知信息，将表示检测关注区域中的图标(与图6等的图标76相同)显示于第2显示区域a2。
[0087]
显示控制部66也可以设为如下方式，即，当使用第1条件及第2条件来进行通知信息的显示控制时，使用与第1条件及第2条件不同的第3条件来进行通知信息的显示控制。当满足第3条件时，显示控制部66进行将在第2显示区域a2显示中的通知信息设为非显示的控制。在用户能够可靠地识别关注区域的状况下，通过在第1显示区域a1及第2显示区域a2中的任一区域中，将通知信息设为非显示，能够防止通知信息妨碍医疗图像的观察。另外，作为第3条件，例如有将通知信息显示于第2显示区域a2的第2显示时间超过了显示限制时间的情况。在此，第2显示时间以通知信息开始显示于第2显示区域a2为契机得到计时。
[0088]
并且，显示控制部66也可以设为如下方式，即，当满足特定条件时，进行在第1显示区域a1、第2显示区域a2或第1显示区域a1及第2显示区域a2这两者中的任一区域中，显示通知信息的控制或将通知信息设为非显示的控制。并且，显示控制部66也可以设为如下方式，即，当不满足特定条件，进行在与满足特定条件时不同的显示区域中，显示通知信息的控制或将通知信息设为非显示的控制。另外，满足特定条件时也可以设为“满足第1条件时”，不满足特定条件时也可以设为“满足第2条件时”。
[0089]
例如，当满足特定条件时，显示控制部66以关注区域的检测中为条件，在第1显示区域a1中显示通知信息，且在第2显示区域a2中将通知信息设为非显示。并且，当不满足特定条件时，显示控制部66以关注区域的检测中为条件，在第2显示区域a2中显示通知信息，且在第1显示区域a1中将通知信息设为非显示。另外，显示控制部66也可以设为如下方式，即，当不满足特定条件时，以关注区域的检测中为条件，在第1显示区域a1及第2显示区域a2这两者显示通知信息。另外，如上所述，用户输入除了通过控制台19以外，还通过设置于内窥镜12的操作部12b的显示区域指定部进行。
[0090]
接着，按照图9所示的流程图对基于显示控制部66的通知信息的显示控制进行说明。内窥镜12对观察对象即被摄体照射照明光，并拍摄被摄体。通过拍摄该被摄体获得医疗图像。关注区域检测部70从医疗图像检测关注区域。若检测到关注区域，则通过通知信息生成部72生成用于通知与关注区域相关的信息的通知信息。作为通知信息，例如生成包围关注区域的边界框。医疗图像及通知信息传送至显示控制部66。
[0091]
显示控制部66进行在显示器18的第1显示区域a1显示医疗图像的控制。并且，显示控制部66进行将通知信息显示于显示器18上的控制及从显示器18上将显示中的通知信息
设为非显示的控制。显示控制部66以通知信息的显示不阻碍关注区域的观察的方式进行通知信息的显示控制。当关注区域的面积较小等满足第1条件时，显示控制部66进行在第1显示区域a1中将通知信息与医疗图像重叠显示。例如，将关注区域用边界框来包围来显示。并且，用特定颜色全面涂抹关注区域，或在关注区域重叠显示半透明的颜色。此时，也可以按照通知信息的内容，改变重叠的颜色。
[0092]
与此相对，显示控制部66设为如下方式，即，当关注区域的面积较大等满足第2条件时，在第2显示区域a2显示通知信息。在该情况下，当将通知信息在第1显示区域a1显示中时，将第1显示区域a1中的通知信息设为非显示。例如，只要是在第1显示区域a1显示边界框中，则从第1显示区域a1将边界框设为非显示，另一方面，在第2显示区域a2显示表示关注区域检测中的图标。由此，即便将边界框设为非显示，也能够防止忽略关注区域。另外，以上的基于显示控制部66的通知信息的显示控制重复进行直至关注区域的观察结束。与结束关注区域的观察相关的命令通过操作控制台19等来进行。
[0093]
[第2实施方式]
[0094]
在第2实施方式中，作为通知信息，将与被摄体像或医疗图像相关的错误信息显示于显示器18。因此，如图10所示，在第2实施方式的图像处理部61中，除了关注区域检测部70以外，作为检测错误信息的错误信息检测部，还设置有从医疗图像检测错误信息的错误信息检测用图像分析部80。另外，也可以设为如下方式，即，作为错误信息检测部，使用错误信息检测用传感器来检测错误信息。错误信息检测用传感器也可以设为如下方式，即，除了设置于内窥镜12的前端部12d以外，还设置于插入贯通于钳子通道的处置器具。并且，在第2实施方式中，只要能够检测错误信息，则也可以不进行关注区域的检测，因此在图像处理部61中也可以不设置关注区域检测部70。
[0095]
在错误信息检测用图像分析部80中，作为错误信息，检测在医疗图像上出现的模糊。该模糊因被摄体或内窥镜12的前端部中的至少任一个移动而产生。作为模糊的检测方法，例如有计算医疗图像的高频分量，当高频分量成为一定值以下时，视为产生有模糊的方法。并且，错误信息检测用图像分析部80作为错误信息，检测被摄体的污垢程度。作为被摄体的污垢有残渣、残液等。作为被摄体的污垢程度的检测方法，例如有如下方法，即，由医疗图像计算颜色信息(例如，b图像与g图像之比及g图像与r图像之比)，通过比较计算出的颜色信息与相当于被摄体上的污垢的污垢颜色信息，计算被摄体的污垢程度。在该情况下，越接近污垢颜色信息，被摄体的污垢程度越变大。
[0096]
并且，在第2实施方式的通知信息生成部72中，生成用于通知错误信息的通知信息。作为通知信息，例如有表示产生有错误信息及错误信息种类的文字信息。当错误信息为在医疗图像上出现的模糊时，优选设为表示产生有模糊的“模糊产生”的文字信息。并且，当错误信息为被摄体的污垢时，优选设为表示污垢的产生及污垢程度的“污垢产生(中程度)”的文字信息。
[0097]
显示控制部66以通知信息的显示不阻碍医疗图像的观察的方式进行通知信息的显示控制。具体而言，如图11所示，当满足错误信息检测用中使用的特定条件时，显示控制部66在第2显示区域a2显示通知信息(在图11中为“模糊产生”的文字信息)。在此，特定条件优选设为在第1实施方式中示出的第1条件、第2条件中与错误信息检测相关的条件。
[0098]
当因之后的状况的变化而不满足特定条件时，可以从第2显示区域a2将通知信息
设为非显示。另外，即使在不满足特定条件的情况下，当错误信息的检测持续一定时间以上等时，可以使通知信息继续显示于第2显示区域a2。并且，还可以代替第2显示区域a2或除了第2显示区域a2以外，还显示于第1显示区域a1。
[0099]
[第3实施方式]
[0100]
在第3实施方式中，作为通知信息，将被摄体的观察状态显示于显示器18。可举出各种使用内窥镜系统10的被摄体的观察状态。例如，在内窥镜系统10中，能够将波长等不同的多种照明光照射于被摄体。因此，根据照明光的种类不同的多个照明模式，能够改变被摄体的观察状态。
[0101]
并且，在内窥镜系统10中，能够对通过拍摄被摄体获得的医疗图像实施多种图像处理。因此，根据对医疗图像实施的图像处理的种类不同的多个图像处理模式，能够改变被摄体的观察状态。并且，内窥镜系统10通过变焦操作部13的操作能够放大被摄体。因此，根据不放大被摄体的非放大观察或放大被摄体的放大观察，能够改变被摄体的观察状态。
[0102]
如图12所示，在第3实施方式的图像处理部61中，除了设置有关注区域检测部70以外，还设置有获取被摄体的观察状态的观察状态获取部81。观察状态获取部81不仅与处理器装置16进行通信，还能够与内窥镜12或光源装置14进行通信。因此，观察状态获取部81作为被摄体的观察状态，获取当前在图像处理部61使用中的照明模式或图像处理模式。并且，观察状态获取部81根据基于变焦操作部13的操作状况，作为被摄体的观察状态，获取非放大观察或放大观察。
[0103]
并且，在第3实施方式的通知信息生成部72中，生成用于通知被摄体的观察状态的通知信息。作为通知信息，例如有表示被摄体的观察状态的文字信息。当被摄体的观察状态以照明模式来表现时，优选设为当前使用中的照明模式的文字信息(例如，若作为照明光使用白色光时，则设为“白色光模式”)。并且，当被摄体的观察状态以图像处理模式来表现时，优选设为当前使用中的图像处理模式的文字信息(例如，当对拍摄用白色光照明的被摄体而获得的白色图像进行图像处理时，设为“白色图像模式”)。并且，当被摄体的观察状态为非放大观察时，优选设为“非放大观察”的文字信息，当被摄体的观察状态为放大观察时，优选设为“放大观察”的文字信息。
[0104]
显示控制部66以通知信息的显示不阻碍医疗图像的观察的方式进行通知信息的显示控制。具体而言，如图13所示，当满足特定条件时，显示控制部66在第2显示区域a2显示通知信息(在图13中为“白色光模式”的文字信息)。在此，特定条件优选设为在第1实施方式中示出的第1条件、第2条件中与被摄体的观察状态相关的条件。
[0105]
当因之后的状况的变化而成为不满足特定条件时，可以从第2显示区域a2将通知信息设为非显示。另外，即使在不满足特定条件的情况下，当通过控制台19等的操作存在基于用户的其他指定时，可以使通知信息继续显示于第2显示区域a2。并且，还可以代替第2显示区域a2或除了第2显示区域a2以外，还显示于第1显示区域a1。并且，也可以设为如下方式，即，当被摄体的观察状态改变时，切换通知信息的种类。例如，当从白色光模式改变为使用特定频带的光的特殊光模式时，将通知信息从“白色光模式”切换为“特殊光模式”。并且，通知信息也可以设为在一定时间内持续显示之后设为非显示。
[0106]
[第4实施方式]
[0107]
在第4实施方式中，作为通知信息，将病变的有无、病变的种类或处置器具的检测
状况显示于显示器18。关于病变的有无及病变的种类，如图14所示，以关注区域中所包含的特征量为基础，通过鉴别处理部82进行鉴别。在鉴别处理部82中，对关注区域使用convolutional neural network等鉴别处理而计算病变的有无、病变的种类。并且，关于处置器具的检测，以关注区域中所包含的特征量为基础，通过处置器具检测部86进行。关于处置器具检测部84，也使用convolutional neural network等处置器具检测处理而进行在关注区域是否包含处置器具的检测。
[0108]
并且，在第4实施方式的通知信息生成部72中，生成用于通知被摄体的观察状态的通知信息。当通知信息为病变的有无或病变的种类时，如图15所示，作为通知信息，优选生成表示病变的恶化程度或病变近似度的鉴别评价值88及与鉴别评价值88联动地移动的拖动条90。鉴别评价值88表示评价值越高，病变的可能性越高。关于拖动条90，鉴别评价值88越高，长度ls越变大。并且，当通知信息表示处置器具的有无时，作为通知信息，优选生成表示处置器具的有无的文字信息(例如，“检测到处置器具检测”等)。
[0109]
显示控制部66以通知信息的显示不阻碍医疗图像的观察的方式进行通知信息的显示控制。具体而言，如图16所示，当满足特定条件时，显示控制部66在第2显示区域a2显示通知信息(在图16中为鉴别评价值88及拖动条90)。当因之后的状况的变化而成为不满足特定条件时，可以从第2显示区域a2将通知信息设为非显示。另外，即使在不满足特定条件的情况下，当通过控制台19等的操作存在基于用户的其他指定时，可以使通知信息继续显示于第2显示区域a2。并且，还可以代替第2显示区域a2或除了代替第2显示区域a2以外，是息显示于第1显示区域a1。
[0110]
另外，也可以以如下方式进行控制，即，作为用于通知用户的通知信息，组合在第1实施方式中示出的“与关注区域相关的信息”、在第2实施方式中示出的“与被摄体或医疗图像相关的错误信息”、在第3实施方式中示出的“被摄体的观察状态”及在第4实施方式中示出的“病变的有无、病变的种类、处置器具的检测状况”中的两个以上，并在第1显示区域a1或第2显示区域设为显示或非显示。
[0111]
另外，在第1～第4实施方式中，进行对内窥镜系统10的本发明的适用，但并不限于内窥镜系统10，对处理医疗图像的医疗图像处理装置也能够适用本发明。并且，对用于使用医疗图像而对用户进行诊断支持的诊断支持装置也能够适用本发明。并且，对用于使用医疗图像而支持诊断报告等医疗服务的医疗服务支持装置也能够适用本发明。
[0112]
另外，作为在第1～第4实施方式中使用的医疗图像，优选为照射白色频带的光或作为前述白色频带的光照射多个波长频带的光而获得的普通光图像。
[0113]
并且，作为在第1～第4实施方式中使用的医疗图像，优选为照射特定波长频带的光而获得的特殊光图像。特定波长频带的光优选为窄于白色频带的频带。特定波长频带优选包含于可见区域的蓝色或绿色频带。特定波长频带优选峰值在390nm～450nm或530nm～550nm范围内。
[0114]
特定波长频带优选包含于可见区域的红色频带。特定波长频带优选峰值在585nm～615nm或610nm～730nm范围内。
[0115]
特定波长频带优选峰值在氧合血红蛋白与还原血红蛋白之间吸收系数不同的频带内。特定波长频带优选峰值在400
±
10nm、440
±
10nm、470
±
10nm或600nm～750nm范围内。
[0116]
并且，作为在第1～第4实施方式中使用的医疗图像，优选为照出了活体内的活体
内图像。活体内图像优选具有活体内的荧光物质发出的荧光的信息。荧光优选将峰值为390～470nm的激励光照射于所述活体内而获得。
[0117]
并且，作为在第1～第4实施方式中使用的医疗图像，优选为照出了活体内的活体内图像。特定波长频带优选为红外光的波长频带。特定波长频带优选峰值在790nm～820nm或905nm～970nm范围内。
[0118]
并且，获取在第1～第4实施方式中使用的医疗图像的图像获取部54优选具有特殊光图像获取部，该特殊光图像获取部根据照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的普通光图像，获取具有特定波长频带的信号的特殊光图像。医疗图像优选为特殊光图像。特定波长频带的信号优选通过基于普通光图像中所包含的rgb或cmy的颜色信息的运算获得。
[0119]
并且，在第1～第4实施方式中使用的医疗图像优选设为特征量图像。生成该特征量图像的特征量图像生成部优选通过基于照射白色频带的光或作为前述白色频带的光照射多个波长频带的光而获得的普通光图像及照射特定波长频带的光而获得的特殊光图像中的至少一个的运算，生成特征量图像。
[0120]
符号的说明
[0121]
10-内窥镜系统(医疗图像处理装置)，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12e-弯角钮，12f-钳子入口，13-变焦操作部，14-光源装置，16-处理器装置，18-显示器，19-控制台，20-光源部，22-光源控制部，30a-照明光学系统，30b-摄像光学系统，41-光导件，45-照明透镜，46-物镜，47-变焦透镜，48-图像传感器，52-控制部，54-图像获取部，56-dsp(digital signal processor/数位讯号处理器)，58-降噪部，59-转换部，61-图像处理部，66-显示控制部，68-记录控制部，69-保存用存储器，70-关注区域检测部，72-通知信息生成部，74-边界框，76-图标，80-错误信息检测用图像分析部，81-观察状态获取部，82-鉴别处理部，86-处置器具检测部，88-鉴别评价值，90-拖动条。

技术特征：
1.一种医疗图像处理装置，其具有：图像获取部，其获取包含被摄体的医疗图像；显示部，其将所述医疗图像显示于第1显示区域；以及显示控制部，其进行在所述显示部中显示用于通知用户的通知信息的控制、或在所述显示部中不显示所述通知信息的控制，所述显示控制部进行在与所述第1显示区域不同的第2显示区域中显示所述通知信息的控制、或将显示中的所述通知信息改为不显示的控制，当满足了第1条件时，所述显示控制部进行在所述第1显示区域中显示所述通知信息的控制，当满足了与所述第1条件不同的第2条件时，所述显示控制部进行将在所述第1显示区域中显示中的所述通知信息改为不显示、且在所述第2显示区域中显示所述通知信息的控制。2.根据权利要求1所述的医疗图像处理装置，其中，该医疗图像处理装置具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述第1条件是所述关注区域的位置脱离了所述第1显示区域的中心范围的情况，所述第2条件是所述关注区域的位置进入到所述第1显示区域的中心范围内的情况。3.根据权利要求1所述的医疗图像处理装置，其中，该医疗图像处理装置具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述第1条件是所述关注区域的随时间的变化量超过变化量用阈值的情况，所述第2条件是所述关注区域的随时间的变化量为所述变化量用阈值以下的情况。4.根据权利要求1所述的医疗图像处理装置，其中，该医疗图像处理装置具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述第1条件是所述关注区域的亮度值为亮度值用阈值以下的情况，所述第2条件是所述关注区域的亮度值超过所述亮度值用阈值的情况。5.根据权利要求1所述的医疗图像处理装置，其中，所述第1条件是在所述第1显示区域中显示所述通知信息的第1显示时间为显示限制时间以下的情况，所述第2条件是所述第1显示时间超过了所述显示限制时间的情况。6.根据权利要求1所述的医疗图像处理装置，其中，该医疗图像处理装置具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述第1条件是组合了所述关注区域的面积、所述关注区域的位置、所述关注区域的随时间的变化量、所述关注区域的亮度值以及在所述第1显示区域中显示所述通知信息的第1显示时间中的至少两个的组合信息满足组合用条件的情况，所述第2条件是所述组合信息不满足所述组合用条件的情况。7.根据权利要求6所述的医疗图像处理装置，其中，
所述第1条件是组合了所述关注区域的面积与所述关注区域的亮度值的面积亮度组合信息满足面积亮度用组合条件的情况，所述第2条件是所述面积亮度组合信息不满足所述面积亮度用组合条件的情况。8.根据权利要求1所述的医疗图像处理装置，其中，所述显示控制部进行在所述第1显示区域中将所述通知信息与所述医疗图像重叠显示的控制。9.根据权利要求1所述的医疗图像处理装置，其中，具有关注区域检测部，该关注区域检测部从所述医疗图像中检测关注区域，所述通知信息为用于通知与所述关注区域相关的信息的通知信息。10.根据权利要求1所述的医疗图像处理装置，其中，所述通知信息为病变的有无、病变的种类或处置器具的检测状况。11.根据权利要求1所述的医疗图像处理装置，其中，所述通知信息与所述医疗图像重叠保存。12.根据权利要求1所述的医疗图像处理装置，其中，该医疗图像处理装置具有特征量图像生成部，该特征量图像生成部通过基于照射白色频带的光或照射多个波长频带的光作为所述白色频带的光而获得的普通光图像以及照射特定波长频带的光而获得的特殊光图像中的至少一方的运算，生成特征量图像，所述医疗图像为所述特征量图像。13.根据权利要求3或6所述的医疗图像处理装置，其中，所述关注区域的随时间的变化量是在特定时间内关注区域移动的移动量。14.根据权利要求2或3所述的医疗图像处理装置，其中，该医疗图像处理装置具有从所述医疗图像检测错误信息的错误信息检测用图像分析部，所述错误信息是所述医疗图像上出现的模糊或者是所述被摄体的污垢，所述通知信息包含有用于通知所述错误信息的信息。15.根据权利要求3所述的医疗图像处理装置，其中，所述关注区域的随时间的变化量是在特定时间内关注区域移动的移动量，该医疗图像处理装置还具有从所述医疗图像检测错误信息的错误信息检测用图像分析部，所述错误信息是所述医疗图像上出现的模糊或者是所述被摄体的污垢，所述通知信息包括用于通知所述错误信息的信息。

技术总结
本发明提供医疗图像处理装置，其不阻碍用户对医疗图像的观察，且能防止忽略关注区域，能保持观察时所需注意力。该医疗图像处理装置具有：图像获取部，其获取包含被摄体的医疗图像；显示部，其将医疗图像显示于第1显示区域；显示控制部，其进行在显示部中显示用于通知用户的通知信息的控制或在显示部中不显示通知信息的控制，显示控制部进行在与第1显示区域不同的第2显示区域中显示通知信息的控制或将显示中的通知信息改为不显示的控制，显示控制部在满足了第1条件时进行在第1显示区域中显示通知信息的控制，在满足了与第1条件不同的第2条件时进行在第1显示区域中将显示中的通知信息改为不显示且在第2显示区域中显示通知信息的控制。信息的控制。信息的控制。


技术研发人员：大酒正明
受保护的技术使用者：富士胶片株式会社
技术研发日：2018.04.12
技术公布日：2022/3/8