专利名称：图像获取及显示方法和图像捕获及显示设备的制作方法
技术领域：
本发明涉及一种图像获取及显示方法和一种图像捕获及显示设备，所述方法和所述设备用于通过将照明光和特定光投射到观察区域上获得普通图像和特定图像并显示获得的普通图像和特定图像。更具体地，本发明涉及用于在手术或类似操作中帮助切除观察区域的一部分的辅助功能。
背景技术：
众所周知用于观察体腔组织的内窥镜系统， 并且用于通过将白色光投射到体腔中的观察区域上捕获观察区域的普通图像并在监视器屏幕上显示捕获的普通图像的电子内窥镜系统被广泛地使用。进一步地，对于这种内窥镜系统中的一个，提出一种系统，其中ICG(吲哚菁绿)被预先施加到观察区域，以便观察在普通图像中无法显现的在脂肪下的例如血管走行、血液流动、淋巴管、淋巴流、胆管走行或胆汁流动，并且通过将近红外激发光投射到观察区域捕获ICG荧光图像。这种捕获荧光图像的内窥镜系统的使用可识别观察区域中的诸如肿瘤的病变位置，并且可能存在识别的肿瘤部分或包括肿瘤部分的器官部分期望被切除的情况。当切除肿瘤或类似物时，必须去除肿瘤区域或具有增加手术切缘的器官部分，以使得在手术之后在器官的其余部分中没有癌细胞离开。然而，仅通过识别荧光图像中的肿瘤或类似物可能无法辨别包括上述的手术切缘的切除范围。进一步地，当切除肿瘤或类似物时，通过首先观察白色光的普通图像执行切除术。 因此，即使在荧光图像中识别肿瘤的范围，在普通图像中也可能无法辨别包括手术切缘的切除范围，并且可能无法执行适当的切除过程。虽然在日本未经审查的专利出版物第2010-082041号中提出了在通过内窥镜获得的图像中显示手术切缘，但是该手术切缘仅仅是预先简单设定的切缘而不是根据如上所述在实时捕获的荧光图像中识别的肿瘤进行确定的手术切缘。进一步地，美国专利第6，468，204号记载了使用外科手术期间捕获的荧光图像实时识别和显现肿瘤的边界，但是完全没有考虑上述的手术切缘。

发明内容
本发明已经考虑上述情况进行开发，并且本发明的目的是提供一种图像获取及显示方法以及一种图像捕获及显示设备，所述方法和所述设备能够在上述的用于捕获荧光图像的内窥镜系统中显示允许将肿瘤或类似物移除到适当的范围的包括手术切缘的普通图像。本发明的一种图像获取及显示方法为下述方法，所述方法用于获得通过将照明光投射到观察区域上并接收从观察区域反射的反射光捕获的普通图像、以及通过将特定光投射到观察区域上并接收从观察区域发射的光捕获的特定图像，并且显示获得的普通图像和特定图像，所述方法包括以下步骤根据特定图像识别特定图像中的指定感兴趣区域；确定包括普通图像中与识别的感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线；和在普通图像中显示所述区域的边界线和所述范围的边界线。本发明的一种图像捕获及显示设备为下述设备，包括光投射单元，所述光投射单元用于将照明光和特定光投射到观察区域上；成像单元，所述成像单元用于通过接收通过投射照明光从观察区域反射的反射光使普通图像成像，以及通过接收通过投射特定光从观察区域发射的光使特定图像成像； 用于显示普通图像和特定图像的显示单元；感兴趣区域识别单元，所述感兴趣区域识别单元用于根据特定图像识别特定图像中的指定感兴趣区域；和切缘确定单元，所述切缘确定单元用于确定包括普通图像中与识别的感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线，其中，所述显示单元在普通图像中显示所述区域的边界线和所述范围的边界线。在本发明的图像捕获及显示设备中，感兴趣区域识别单元可以为基于根据观察区域的生物信息预设的区段信息确定感兴趣区域的单元。进一步地，成像单元可以为捕获普通图像的单元，所述普通图像包括具有预设长度信息的长度测量标记的标记图像，切缘确定单元可以为根据标记图像的尺寸确定切缘的单元。长度测量标记可以具有蓝色或绿色颜色。进一步地，观察区域可以为生物体，长度测量标记可以为由可生物吸收材料制成并放置在生物体上的标记。更进一步地，观察区域可以为生物体，切缘确定单元可以为根据生物体的区域确定切缘的单元。此外，观察区域可以为生物体，显示单元可以为根据用于切除生物体的切除工具的预设信息改变所述范围的边界线的显示形式的单元。更进一步地，所述设备还可以包括表格，所述表格将多个切除工具的信息与显示所述范围的边界线的显示形式相关联。进一步地，光投射单元可以为投射作为特定光的激发光的单元，成像单元可以为通过接收通过激发光的投射从观察区域发射的荧光捕获荧光图像作为特定图像的单元。根据本发明的图像获取及显示方法以及图像捕获及显示方法，根据特定图像，识别特定图像中的指定感兴趣区域，然后确定包括普通图像中与识别的感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线，并且在普通图像中显示所述区域的边界线和所述范围的边界线。这能够使医生或类似人员通过观察普通图像中的边界线将肿瘤或类似物去除到包括手术切缘的适当范围。


图1为采用本 发明的荧光内窥镜设备的一个实施例的刚性内窥镜系统的概观，其中显示了刚性内窥镜系统的示意性结构；图2为图1中显示的体腔插入部分的示意性结构图；图3是体腔插入部分的远端部的示意性视图；图4为沿图3中的线4-4'截得的剖视图；图5显示从体腔插入部分的每一个光投射单元输出的光的光谱以及从由所述光照射的观察区域发射/反射的荧光和反射光的光谱；图6为成像单元的示意性结构图；图7显示成像单元的光谱灵敏度；图8为图像处理单元和光源单元的方框图，其中显示了示意性结构；图9显示如何计算与荧光图像中识别的感兴趣区域相对应的普通图像中的区域；图10显示将成像目标区与手术切缘相关联的示例性表格；图11为用于说明刚性内窥镜系统的操作的流程图，所述刚性内窥镜系统采用本发明的荧光内窥镜设备的一个实施例；图12显示其中在肺P的荧光图像中识别区段Rl且手术切缘的边界线SM显示在肺P的普通图像中的显示实例；图13显示将切除工具及其切除的范围与边界线的显示方法相关联的示例性表格；和图14显示与吻合器相对应的手术切缘的边界的显示实例。
具体实施例方式在下文中，将参照附图详细说明采用本发明的图像捕获及显示设备的一个实施例的刚性内窥镜系统。图1是本实施例的刚性内窥镜系统1的概观，其中显示了所述刚性内窥镜系统的示意性结构。本实施例具有显示手术切缘的特征，但是首先将说明整个系统结构。图1是刚性内窥镜系统1的概观，其中显示了所述刚性内窥镜系统的示意性结构。如图1中所示，本实施例的刚性内窥镜系统1包括用于发射蓝色光和近红外光的光源单元2 ；刚性内窥镜成像装置10，所述刚性内窥镜成像装置用于将通过转换从光源单元2发出的蓝色光获得的白色光以及近红外光投射到观察区域，并根据通过白色光的投射从观察区域反射的反射光捕获普通图像以及根据通过近红外光的投射从观察区域发出的荧光捕获荧光图像；处理器3，所述处理器用于对由刚性内窥镜成像装置10获得的图像信号执行预定处理，并将控制信号输出到光源单元2;和监视器4，所述监视器用于根据处理器3产生的显示控制信号显示观察区域的荧光图像和普通图像。如图1中所示，刚性内窥镜成像装置10包括要插入诸如腹腔或胸腔的体腔中的体腔插入部分30以及用于捕获通过体腔插入部分30导向的观察区域的普通图像和荧光图像的成像单元20。如图2中所示，体腔插入部分30和成像单元20可拆卸地连接。体腔插入部分30 包括连接构件30a、插入构件30b和电缆连接端口 30c。连接构件30a设置在体腔插入部分30 (插入构件30b)的近端30X处，并且成像单元20和体腔插入部分30通过将连接构件30a装配到例如形成在成像单元20中的孔20a中而可拆卸地连接。插入构件30b是在体腔中执行成像时将插入体腔中的构件。插入构件30b由刚性材料形成，并且具有例如圆柱形形状，所述圆柱形形状具有大约5mm的直径。插入构件30b 的内部容纳用于形成观察区域的图像的一组透镜，并且从远端30Y输入的观察区域的普通图像和荧光图像通过所述一组透镜输入到近端30X侧的成像单元20。电缆连接端口 30c设置在插入构件30b的侧面上，光缆LC机械连接到所述端口。 这使得光源单元2和插入构件30b通过光缆LC光学连接。图3显示体腔插入 部分30的远端30Y的结构。如图3中所示，成像透镜30d设置在体腔插入部分30的远端30Y的大致中心处以用于形成普通图像和荧光图像，用于投射白色光的白色光投射透镜30e，30f和用于投射近红外光的近红外光投射透镜30g，30h分别跨越成像透镜30d基本上对称地设置。一对两个白色光投射透镜30e，30f和一对近红外光投射透镜30g，30h中的每一对都相对于成像透镜30d对称地设置，以便防止由于观察区域的不规则而在普通图像和荧光图像中形成阴影。图4是沿图3中的线4-4'截得的剖视图。如图4中所示，体腔插入部分30的内部包括白色光投射单元70和近红外光投射单元60。白色光投射单元70包括荧光体72和用于引导蓝色光的多模光纤71，所述荧光体通过吸收由多模光纤71引导的蓝色光的一部分被激发并发射绿色到黄色的可见光。荧光体72由多种类型的荧光材料形成，例如，YAG荧光材料、BAM(BaMgAl 10017)和类似材料。管状套筒构件73被设置成遮盖荧光体72的周边，用于将多模光纤71保持在中心轴线处的套圈74插入套筒构件73中。进一步地，柔性套筒75插入套筒构件73与从套圈 74的近端侧(与远端侧相对)延伸的多模光纤71之间以遮盖光纤的封套。近红外光投射单元60包括用于引导近红外光的多模光纤61，并且在多模光纤61 与近红外光投射透镜30h之间提供空间62。此外，近红外光投射单元60与白色光投射单元70 —样，除了套圈64和柔性套筒 65之外还设有遮盖空间62的周边的管状套筒构件63。对于每一个光投射单元中使用的多模光纤，例如，可以使用具有105 μ m纤芯直径、125 μ m包覆层直径以及包括0. 3mm到0. 5mm的保护外封套的总直径的薄光纤。在此已经说明了具有白色光投射透镜30f的白色光投射单元70和具有近红外光投射透镜30h的近红外光投射单元60的结构。要注意的是具有白色光投射透镜30e的白色光投射单元和具有近红外光投射透镜30g的近红外光投射单元分别具有与上述单元的结构相同的结构。图5中显示从每一个光投射单元投射到观察区域上的光的每一个光谱以及通过光的投射从观察区域发射/反射的荧光和反射光的光谱。图5显示通过白色光投射单元70 的荧光体72投射的蓝色光光谱Si、从白色光投射单元70的荧光体72激发和发射的绿色到黄色可见光光谱S2、从近红外光投射单元60投射的近红外光光谱S3、以及通过从近红外光投射单元60的近红外光光谱S3的投射发射的ICG光谱S4。这里使用的术语“白色光”没有严格限制为具有可见光的所有波长成分的光，而可以包括任何光，只要该光包括在特定波长范围内的光(例如，R(红色)、G(绿色)或B (蓝色)基色光)即可。因此，在广义上，白色光可以包括例如具有从绿色到红色的波长成分的光、具有从蓝色到绿色的波长成分的光和类似光。虽然白色光投射单元70投射图5中所示的蓝色光光谱Sl和可见光光谱S2，但是这些光谱的光也可被视为白色光。图6显示成像单元20的示意性结构。成像单元20包括第一成像系统和第二成像系统，所述第一成像系统用于使由体腔插入部分30中的所述一组透镜形成的观察区域的荧光图像成像以产生观察区域的ICG荧光图像信号，所述第二成像系统用于使由体腔插入部分30中的所述一组透镜形成的观察区域的普通图像成像以产生观察区域的图像信号。 这些成像系统被二色性棱镜21分成两个正交光轴，所述二色性棱镜具有反射普通图像并发送荧光图像的光谱特性。第一成像系统包括近红外光截止滤光片22，所述近红外光截止滤光片透射从体腔插入部分30输出的荧光图像并切断近红外光；第一图像形成光学系统23，所述第一图像形成光学系统形成从体腔插入部分30输出并透射通过二向色棱镜21和近红外光截止滤光片22的荧光图像L2;和高灵敏度图像传感器24，所述高灵敏度图像传感器捕获由第一图像形成光学系统23形成的荧光图像L2。第二成像系统包括第二图像形成光学系统25和图像传感器26，所述第二图像形成光学系统形成从体腔插入部分30输出并由二色性棱镜21反射的普通图像Li，所述图像传感器捕获由第二图像形成光学系统25形成的普通图像Li。高灵敏度图像传感器24以高灵敏度检测在荧光图像L2的波长范围内的光，将检测到的光转换成荧光图像信号，并输出所述荧光图像信号。高灵敏度图像传感器24为单色图像传感器。图像传感器26检测在普通图像Ll的波长内的光，将检测到的光转换成普通图像信号，并输出图像信号。三原色(红色(R)、绿色(G)和蓝色(B))的滤色器以贝尔格式或蜂窝形格式布置在图像传感器26的成像表面上。图7为成像单元20的光谱灵敏度的曲线图。更具体地，成像单元20被构造成使得第一成像系统具有IR(近红外)灵敏度，第二成像系统具有R(红色)灵敏度、G(绿色) 灵敏度和B (蓝色)灵敏度。成像单元20还包括成像控制单元27。成像控制单元27根据从处理器3输出的 CCD驱动信号控制高灵敏度图像传感器24和图像传感器26，对从高灵敏度图像传感器24 输出的荧光图像信号和从图像传感器26输出的普通图像信号执行CDS/AGC(相关双采样/ 自动增益控制)和A/D转换，并且通过电缆将生成的图像信号输出到处理器3。图8是光源单元2和处理器3的方框图，其中显示了光源单元2和处理器3的示意性结构。如图8中所示，处理器3包括图像输入控制器31、荧光图像输入控制器32、图像处理单元33、存储器34、视频输出单元35、操作单元36、TG (定时信号发生器)37、控制单元 38、感兴趣区域识别单元39和手术切缘确定单元50。每一个都设有具有预定容量的行缓冲器的普通图像输入控制器31和荧光图像输入控制器32分别临时存储关于从成像单元20的成像控制单元27输出的每一帧的普通图像信号和荧光图像信号。然后，存储在普通图像输入控制器31中的普通图像信号和存储在荧光图像输入控制器32中的荧光图像信号通过总线被存储在存储器34中。图像处理单元33从存储器34接收关于每一帧的普通图像信号和荧光图像信号， 对这些图像信号执行预定处理并将生成的图像信号输出到总线。
视频输出单元35通过总线接收从图像处理单元33输出的普通图像信号和荧光图像信号，通过对接收到的信号执行预定处理产生显示控制信号，并将所述显示控制信号输出到监视器4。操作单元36从操作者接收输入，例如，各种类型的操作指令和控制参数。具体地，本实施例的操作单元36接收生物体的为观察区域的成像区域的信息以及用于切除观察区域的切除工具的信息。TG 37输出用于驱动成像单元20的高灵敏度图像传感器24和图像传感器26的驱动脉冲信号以及光源单元2的LD驱动器43、46和49，稍后将说明。控制单元38执行系统的全面控制。在本实施例中，具体地，控制单元38包括显示控制单元38a，所述显示控制单元产生在普通图像中与通过感兴趣区域识别单元39根据荧光图像确定的感兴趣区域相对应的区域的边界线以及包括普通图像中的所述区域和添加到将显示在普通图像中的所述区域的预定切缘的范围的边界线。这些边界线的显示方法将稍后详细说明。感兴趣区域识别单元39根据通过成像单元20的高灵敏度图像传感器24获得的荧光图像信号识别荧光图像中的感兴趣区域。更具体地，在本实施例中，在感兴趣区域识别单元39中预先设定基于观察区域的生物信息的区段信息，并且感兴趣区域识别单元39识别荧光图像的荧光部分并识别包括所述荧光部分的区段作为感兴趣区域。这里使用的术语 “区段”表示根据诸如血管、淋巴管、支气管和类似物的生物信息医学上确定的划分区域，并且区段被提供用于肺、肝和类似器官。这里假定感兴趣区域识别单元39根据成像区域的信息(例如，由操作单元36接收到的肺的顶点)通过例如根据成像区域执行图案识别来识别区段。在本实施例中，如上所述自动地确定区段，但是也可以采用其中通过医生或类似人员根据荧光图像的荧光部分使用操作单元36指定荧光图像中的区段来确定区段的装置。进一步地，在本实施例中，上述区段作为感兴趣区域被识别。但是，例如，包括荧光图像中的荧光部分的指定范围可以被自动地设定为感兴趣区域，或者可以由医生或类似人员使用操作单元36在荧光图像中指定任何感兴趣区域。进一步地，自动检测到的肿瘤病变位置可以作为感兴趣区域被识别。手术切缘确定单元50确定包括在普通图像中与感兴趣区域识别单元39识别的感兴趣区域相对应的区域以及添加到所述区域的手术切缘的范围的边界线。将说明用于计算普通图像中的与感兴趣区域识别单元39识别的荧光图像中的感兴趣区域相对应的区域的示例性方法。图9显示当体腔插入部分30的远端与观察区域之间的距离为L时第一成像系统与第二成像系统之间的位置关系。当第一和第二成像系统为图9中显示的位置关系时，并且如果例如高灵敏度图像传感器24上的与荧光图像中被识别的感兴趣区域相对应的坐标位置在图9中为XA，则图像传感器26上的形成与感兴趣区域相同的点的坐标位置XB可以通过如下公式计算。公式1
权利要求
1.一种图像获取及显示方法，所述方法用于获得通过将照明光投射到观察区域上并接收从所述观察区域反射的反射光捕获的普通图像、以及通过将特定光投射到所述观察区域上并接收从所述观察区域发射的光捕获的特定图像，并且显示获得的所述普通图像和所述特定图像，所述方法包括以下步骤根据所述特定图像识别所述特定图像中的指定感兴趣区域；确定包括所述普通图像中与识别的所述感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线；和在所述普通图像中显示所述区域的边界线和所述范围的边界线。
2.一种图像捕获及显示设备，包括光投射单元，所述光投射单元用于将照明光和特定光投射到观察区域上；成像单元，所述成像单元用于通过接收通过投射所述照明光从所述观察区域反射的反射光使普通图像成像，以及通过接收通过投射所述特定光从所述观察区域发射的光使特定图像成像；用于显示所述普通图像和所述特定图像的显示单元；感兴趣区域识别单元，所述感兴趣区域识别单元用于根据所述特定图像识别所述特定图像中的指定感兴趣区域；和切缘确定单元，所述切缘确定单元用于确定包括所述普通图像中与识别的所述感兴趣区域相对应的区域和添加到所述区域的预定切缘的范围的边界线，其中，所述显示单元在所述普通图像中显示所述区域的边界线和所述范围的边界线。
3.根据权利要求2所述的设备，其中，所述感兴趣区域识别单元为根据基于所述观察区域的生物信息预设的区段信息确定所述感兴趣区域的单元。
4.根据权利要求2所述的设备，其中，所述成像单元为捕获普通图像的单元，所述普通图像包括具有预设长度信息的长度测量标记的标记图像，并且所述切缘确定单元为根据所述标记图像的尺寸确定所述切缘的单元。
5.根据权利要求4所述的设备，其中，所述长度测量标记具有蓝色或绿色颜色。
6.根据权利要求4所述的设备，其中，所述观察区域为生物体，所述长度测量标记为由可生物吸收材料制成并放置在所述生物体上的标记。
7.根据权利要求2所述的设备，其中，所述观察区域为生物体，所述切缘确定单元为根据所述生物体的区域确定所述切缘的单元。
8.根据权利要求2所述的设备，其中，所述观察区域为生物体，所述显示单元为根据用于切除所述生物体的切除工具的预设信息改变所述范围的边界线的显示形式的单元。
9.根据权利要求8所述的设备，还包括表格，所述表格将多个切除工具的信息与所述范围的边界线的显示形式相关联。
10.根据权利要求2所述的设备，其中，所述光投射单元为投射作为所述特定光的激发光的单元，所述成像单元为通过接收通过投射所述激发光从所述观察区域发射的荧光捕获荧光图像作为所述特定图像的单元。
全文摘要
本发明公开了一种图像获取及显示方法和一种图像捕获及显示设备，其中根据特定图像识别特定图像中的指定感兴趣区域，确定包括普通图像中的与识别的感兴趣区域相对应的区域以及添加到所述区域的预定切缘的范围的边界线，并且在普通图像中显示所述区域的边界线和所述范围的边界线。
文档编号A61B5/00GK102440760SQ20111025466
公开日2012年5月9日 申请日期2011年8月31日 优先权日2010年8月31日
发明者吉田光治, 岩坂诚之 申请人:富士胶片株式会社