消化道光学相干层析和内窥双模态成像装置及检测系统

阅读：评论：0

1.本发明属于医疗器械技术领域，具体涉及一种消化道光学相干层析和内窥双模态成像装置及检测系统。

背景技术：

2.随着社会的不断发展，消化道疾病的发病率逐年上升。由消化道疾病引发的消化道癌症已经成为危害人们生命健康的重要因素之一。相关研究表明，消化道疾病的早期检测与是阻断其进一步恶化的有效手段。因此，实现消化道病变的早期筛查，对于降低发病率和死亡率具有重要意义。
3.目前临床上常用的内窥镜大多使用冷光源作为照明介质，通过光学传感器对消化道表面组织成像，实现消化道疾病的检测。一般的消化道病变可以通过观察组织表面进行诊断，但部分病变早期的症状往往发生在粘膜下方1-3mm，传统的光学内窥镜难以检测。光学相干层析技术(optical coherence tomography,oct)以弱相干光干涉原理为基础，通过测量样品反射光与参考臂反射光的干涉信号，可以获得组织深度方向上的结构信息，其成像深度在3mm以上，同时可利用样品臂上的扫描装置实现样品的二维或三维成像，具有高分辨率、非入侵成像等优点。因此，将光学相干层析技术与传统光学内窥镜相结合，实现对消化道表面彩成像的同时，并对组织深度方向成像，可以弥补传统光学内窥镜的不足。经过对现有技术的检索发现，目前采用oct技术和传统内窥镜结合的多模态内窥检查技术仍有很多可改进之处。专利cn110881942a、专利cn114587245a、专利cn102824154均采用硬管式内窥镜与oct技术结合，上述技术方案应用于消化道检查时需要对患者进行镇静处理，同时患者需要承受巨大的痛苦。专利cn102697438a提出的双模态胶囊小肠镜系统不能采集消化道同一位置的双模态图像并且不能调整检测方向。另外，以上几种公开技术都没有涉及对所获得的多模态数据进行处理，从而实现病灶的智能检测。
4.多模态的检查方式会同时产生大量不同模态的数据，同时要求临床医生对两种模态的检查数据都能熟练检阅，对临床医生的专业水平提出了更高的要求，也限制了多模态的检查方式在偏远地区的应用与发展。随着深度学习技术的发展，目前已经有很多研究人员对在消化道内窥镜的计算机辅助诊断技术进行了研究。但是当前的计算机辅助诊断系统大多是针对传统的光学内窥镜图像进行设计的，并不能结合病灶表面图像与相干光层析图像的信息实现多模态的病灶检测。因此，研发一套消化道光学相干层析和内窥双模态成像装置及检测系统，通过采集消化道同一位置的双模态信息，进一步的结合深度学习技术实现消化道彩图像与相干光层析图像的双模态病灶实时智能检测，对于消化道疾病早期的检测与诊断具有重要意义。

技术实现要素：

5.本发明的目的是针对上述问题，提供一种消化道光学相干层析和内窥双模态成像装置及检测系统。
6.第一方面，本发明提供一种消化道光学相干层析和内窥双模态成像装置，包括oct体外光路模块和双模态胶囊探头。双模态胶囊探头与oct体外光路模块通过内设有光纤芯线的信号传输线连接。
7.所述的双模态胶囊探头包括胶囊外壳、二向镜、oct采集模块、内窥镜成像模块和旋转驱动组件。胶囊外壳的中部设置有环绕胶囊外壳的透明窗口。二向镜安装在胶囊外壳内并由旋转驱动组件驱动旋转。二向镜的转动轴线与胶囊外壳的中心轴线平行；二向镜的侧面与胶囊外壳的中心轴线成30～60
°
夹角。二向镜反射近红外光且透射可见光。
8.所述的oct采集模块包括透镜支架、光束准直器、消差透镜、液态透镜和非球面透镜。透镜支架固定在胶囊外壳内腔的端部；透镜支架的中心安装孔内设置有光束准直器、消差透镜、液态透镜和非球面透镜；信号传输线的光纤芯线与透镜支架的中心安装孔对接。从光纤芯线输入双模态胶囊探头的近红外光依次经过光束准直器、消差透镜、液态透镜和非球面透镜，并经由二向镜反射向胶囊外壳的透明窗口，从而入射至组织。
9.所述的液态透镜基于电润湿原理，通过外加电压改变液体的形状进而改变液体的曲率实现自动对焦和变焦。
10.所述的内窥镜成像模块与二向镜固定；且内窥镜成像模块的信号接收面朝向二向镜。内窥镜成像模块的朝向与oct采集模块射出的近红外光在二向镜上反射光方向一致。
11.工作过程中，消化道上同一位置、同一时刻的近红外光反射信号和可见光反射信号均反射向二向镜；近红外光反射信号在二向镜反射后，经oct采集模块传输至oct体外光路模块。可见光反射信号在二向镜透射后照射至内窥镜成像模块。
12.作为优选，所述的信号传输线采用光电混合缆。光电混合缆中设置有光纤芯线和电信号传输芯线。光电混合缆中的光纤芯线与oct体外光路模块中的光纤耦合器连接。
13.作为优选，所述的oct体外光路模块包括近红外光源、光电探测器、光纤耦合器、参考臂光路。近红外光源用于oct层析成像；光电探测器用于将oct干涉光信号转换为电信号，传输至计算机进行处理；光纤耦合器用于将近红外光源按比例分为样品光和参考光并使反射的参考光和样品光发生干涉；参考臂光路用于将参考光反射回光纤耦合器。光纤耦合器输出的样品光传输至双模态胶囊探头的oct采集模块。
14.作为优选，所述的胶囊外壳内设置有照明灯。照明灯、液态透镜、旋转驱动组件和内窥镜成像模块均通过信号传输线内的电信号传输芯线引入电源和控制信号；内窥镜成像模块检测到的图像数据通过电信号传输芯线输出。
15.作为优选，工作过程中，双模态胶囊探头内部的照明灯为内窥镜成像模块提供图像采集所需的照明条件。
16.作为优选，所述的旋转驱动组件包括微电机、电机支架和安装架。微电机通过电机支架固定在胶囊外壳内腔端部；微电机的输出轴线与胶囊外壳的轴线重合；安装架固定在微电机的输出轴上。二向镜固定在安装架上。安装架在内窥镜成像模块与二向镜之间的区域镂空设置。
17.作为优选，所述二向镜的侧面与胶囊外壳的中心轴线成45
°
夹角。内窥镜成像模块的朝向与胶囊外壳的中心轴线相互垂直。
18.作为优选，所述的内窥镜成像模块包括内窥镜成像镜头和成像传感器；内窥镜成像镜头和成像传感器均与二向镜固定。内窥镜成像镜头与成像传感器的图像检测区域对齐。内窥镜成像镜头朝向二向镜，能够接收由二向镜透射过来的信号光。
19.第二方面，本发明提供一种消化道检测系统，包括图像预处理模块、病变检测模块和前述的消化道光学相干层析和内窥双模态成像装置。双模态胶囊探头输出oct光谱数据和内窥镜图像传输至图像预处理模块。图像预处理模块将预处理得到的oct图像和内窥镜图像传输至病变检测模块。
20.作为优选，双模态胶囊探头每到达一个采集位置，二向镜均转动360
°
；二向镜每转动预设角度均停顿一次，oct体外光路模块和内窥镜成像模块在二向镜停顿时进行数据采集，得到采集位置的360
°
范围内的不同朝向的oct光谱数据和内窥镜图像。
21.作为优选，所述的图像预处理模块对oct光谱数据的预处理包括将oct光谱数据转换为oct图像、oct图像去噪和oct图像增强。图像预处理模块对内窥镜图像的预处理包括图像帧提取、图像边缘去除、图像去噪、图像增强和图像匹配。
22.作为优选，所述的病变检测模块包括oct图像病变检测网络和内窥镜图像病变检测网络。oct图像病变检测网络和内窥镜图像病变检测网络均采用基于卷积神经网络的轻量级目标检测网络，其中包括特征提取网络、上下文增强模块、卷积层、空间注意力模块和全连接层。针对oct图像中病变尺度大小不一的问题，oct图像病变检测网络的特征提取网络中采用特征金字塔结构融合多尺度特征，增强网络对不同尺度病变的检测能力；针对内窥镜图像中病灶区域与消化道组织正常区域成像相似、病灶尺度大小不一的问题，在内窥镜图像病变检测网络的特征提取网络中加入卷积块注意力机制强化病灶区域的关键特征。
23.作为优选，该消化道检测系统还包括多模态信息融合模块；所述的病变检测模块将oct图像病变检测网络和内窥镜图像病变检测网络输出的特征信号输送至多模态信息融合模块；多模态信息融合模块用于结合oct图像病变检测网络和内窥镜图像病变检测网络输出特征信号为医生对病情的判断提供辅助。
24.作为优选，该消化道检测系统还包括显示预警模块；显示预警模块包括实时预警模块和实时显示输出模块。实时预警模块根据多模态信息融合模块输出信号进行实时预警输出；实时显示模块用于实时显示图像预处理模块输出的oct图像和内窥镜图像，并分别显示oct图像病变检测网络和内窥镜图像病变检测网络检测到的目标位置。
25.本发明的有益效果为：
26.1、本发明在胶囊探头的内腔中部倾斜设置二向镜，将消化道内同一位置、同一时刻反射出的近红外光与可见光进行分离后分别射向oct采集模块和内窥镜成像模块；从而同时采集到消化道同一位置的oct图像和内窥镜图像，以便于对消化道病变情况的综合分析。
27.2、本发明仅通过驱动二向镜转动，即可同时改变oct和内窥镜的图像采集方向，配合环绕胶囊探头一周的透光窗口即可实现胶囊探头周围360
°
范围内的oct和内窥镜图像采集。而用于导入近红外样品光信号的光纤、光束准直器、消差透镜、液态透镜和非球面透镜均固定在胶囊探头内，采集方向可调的同时，保持了系统的紧凑性。
28.3、本发明中的oct采集模块布置在胶囊探头的端部，不占据透光窗口所在区域的空间，从而能够充分利用胶囊探头的内部空间，减小了双模态数据采集的胶囊探头的尺寸，
降低了胶囊探头对人体消化道的损伤风险。
29.4、本发明采用轻量级目标检测网络，在保证检测精度的同时，能够进行实时检测，由于参数量较小，本系统运行于可移动的便携式设备，方便运输与携带。此外，融合oct内窥镜与传统光学内窥镜实现消化道表面与组织深度方向的实时成像，解决了传统光学内窥镜缺乏深度信息导致漏检病灶的不足。
30.5、本发明通过结合光学相干层析技术与液态透镜技术，实现消化道内部结构的实时高分辨率变焦成像，为监测消化道疾病提供清晰有效的形态学结构信息。同时，本发明结合消化道组织表面彩图像信息与光学相干层析图像深度信息，利用深度学习技术实现了多模态消化道疾病智能检测与分类，加强了对消化道表皮下方病灶和消化道早期病变的筛查和检测能力。
附图说明
31.图1为本发明的双模态胶囊内窥镜病变自动检测装置的结构框图。
32.图2为本发明中双模态胶囊探头的内部结构示意图。
33.图3为本发明中病变检测模块的网络结构图。
具体实施方式
34.下面结合附图和具体实施方式对本发明作进一步详细的说明，但本发明并不限于以下具体实施实例。
35.如图1和2所示，一种消化道光学相干层析和内窥双模态成像装置，包括oct体外光路模块1、双模态胶囊探头2、光电混合缆14、图像预处理模块3、病变检测模块4、多模态信息融合模块5和显示预警模块6。光电混合缆14中设置有光纤芯线和电信号传输芯线。光电混合缆14中的光纤芯线与oct体外光路模块1中的光纤耦合器连接。
36.oct体外光路模块1与双模态胶囊探头2通过光纤连接。oct体外光路模块1中的光电探测器采集的光电信号和双模态胶囊探头2采集得到的内窥镜图像传输至图像预处理模块3。图像预处理模块3输出的处理后图像传输至病变检测模块4；病变检测模块4输出的特征信号输送至多模态信息融合模块5；多模态信息融合模块5与显示预警模块6连接。
37.oct体外光路模块1用于实现oct信号的传输与转换；双模态胶囊探头2用于消化道的内窥镜成像和oct样品信号采集；图像预处理模块3用于对消化道的内窥镜图像和oct图像进行预处理，以提高图像质量和增强病变区域对比度；病变检测模块4用于对输入的oct图像和内窥镜图像进行病灶检测识别和分类；多模态信息融合模块5用于对基于oct图像和内窥镜图像的病变检测结果进行综合分析；显示预警模块6用于对内窥镜检查过程实时显示，并对检测到的病变进行实时预警。
38.oct体外光路模块1包括近红外光源、光电探测器、光纤耦合器、参考臂光路，其中，近红外光源用于oct成像；光电探测器用于将oct干涉光信号转换为电信号，传输至计算机进行处理；光纤耦合器用于将近红外光源按比例分为样品光和参考光并使反射的参考光和样品光发生干涉；参考臂光路用于提供参考光并将参考光反射回光纤耦合器，与信号光进行干涉。
39.双模态胶囊探头2包括胶囊外壳7、照明灯8、二向镜12、oct采集模块、内窥镜成
像模块和旋转驱动组件。胶囊外壳7的中部设置有环绕胶囊外壳7的透明窗口21，以便于采集胶囊外壳7外的图像。oct采集模块用于消化道粘膜深度方向信号采集；内窥镜成像模块用于消化道表面彩成像；旋转驱动组件用于驱动oct采集模块和内窥镜成像模块圆周旋转成像。
40.旋转驱动组件包括微电机9、电机支架10和安装架11。微电机9通过电机支架10固定在胶囊外壳7内腔的一端；微电机9的输出轴线与胶囊外壳7的轴线重合；安装架11固定在微电机9的输出轴上。二向镜12固定在安装架11上。二向镜12能够反射近红外光，透射可见光。二向镜12的侧面与微电机9的输出轴的轴线成45
°
夹角。
41.oct采集模块包括透镜支架13、光束准直器15、消差透镜16、液态透镜17和非球面透镜18。透镜支架13固定在胶囊外壳7内腔的另一端；透镜支架13内设置有中心安装孔。光电混合缆14内设置有电信号传输芯线和光纤芯线。外部的控制器和电源通过电信号传输芯线为微电机9、内窥镜成像模块中的成像传感器20和照明灯8供电和提供控制信号。成像传感器20采集的图像数据通过电信号传输芯线传输至控制器内的图像预处理模块3。
42.光电混合缆14的一端与胶囊外壳7安装oct采集模块的端部固定，且光电混合缆14中光纤芯线的端部与中心安装孔的外端对接。中心安装孔中安装有由外至内依次排列，且轴线均与胶囊外壳7的轴线重合的光束准直器15、消差透镜16、液态透镜17和非球面透镜18。非球面透镜18与二向镜12对齐。二向镜12的反射面与非球面透镜18的轴线呈45
°
夹角。
43.oct体外光路模块1输出的oct采样光信号(近红外光)依次经过光电混合缆14、光束准直器15、消差透镜16、液态透镜17、非球面透镜18射向二向镜12；二向镜12反射出的oct采样光信号经胶囊外壳7侧面的透明窗口，照射到被测区域上；被测区域反射的光信号原路返回到oct体外光路模块1，与参考光进行干涉，实现光学相干层析成像。
44.内窥镜成像模块包括内窥镜成像镜头19和成像传感器20；内窥镜成像镜头19和成像传感器20固定在安装架11的侧部。
45.安装架11在内窥镜成像镜头19与二向镜12之间的区域镂空设置，从而避免安装架11遮挡内窥镜成像模块对消化道的拍摄。内窥镜成像镜头19与成像传感器20的图像检测区域对齐。内窥镜成像镜头19的轴线与胶囊外壳的轴线相互垂直。内窥镜成像镜头19朝向二向镜12；由于二向镜12能够透射可见光，被测区域反射出的可见光穿过二向镜12输入内窥镜成像模块，从而使得成像传感器20能够通过胶囊外壳的透明窗口进行内窥镜图像采集。因此，oct采集模块和内窥镜成像模块能够同时对同一位置分别进行oct图像采集和内窥镜图像采集。
46.使用过程中，双模态胶囊探头2从口腔进入消化道至待测位置；近红外光源沿光纤进入光纤耦合器被分成样品光和参考光，其中样品光沿光电混合缆14中的光纤进入位于双模态胶囊探头2中的光束准直器15准直后进入消差透镜16，经过消差的光束进入液态透镜17自动对焦后进入非球面透镜18聚焦，由二向镜反射进入所要探测的消化道区域，同时消化道组织产生的背向散射光经过光路回到光纤耦合器中与参考光发生干涉，干涉光信号经过光电探测器转换为电信号，完成oct信号采集。照明灯8发出的可见光照射到消化道组织表面，反射光经过内窥镜成像镜头19进入成像传感器20，成像传感器20将光信号转换为电信号通过光电混合缆14中的电信号传输芯线输出至图像预处理模块，完成内窥镜图
像采集；微电机9驱动输出轴转动，同时驱动二向镜12、内窥镜成像镜头19、成像传感器20转动，实现oct信号与内窥镜信号的圆周采集。
47.图像预处理模块3对oct图像的预处理包括将oct光谱数据转换为oct图像、oct图像去噪和oct图像增强。图像预处理模块3对内窥镜图像的预处理包括内窥镜图像帧提取、内窥镜图像边缘去除、内窥镜图像去噪、内窥镜图像增强和图像匹配。
48.病变检测模块4包括oct图像病变检测网络和内窥镜图像病变检测网络。oct图像病变检测网络结合迁移学习对经过预处理的oct图像进行识别，获得基于oct图像的病变区域检测结果。内窥镜图像病变检测网络结合迁移学习对经过预处理的内窥镜图像进行识别，获得基于内窥镜图像的病变区域检测结果。两个轻量级目标检测网络均通过对应的训练集进行训练。训练集由初始的病变样本图像经过图像扩增得到。图像扩增的方式包括传统图像扩增方法(平移、旋转、翻转、缩放)和基于生成对抗网络的数据扩增；具体为先对于原始数据集中的病变图像采用传统数据扩增方法对oct图像数据集和内窥镜图像数据集进行扩增，然后采用生成对抗网络对病变数据进行进一步扩增。图像扩增过程中，通过生成器和鉴别器的不断迭代，获得与真实病灶图像相似的生成图像，采用生成对抗网络扩增数据可以有效改善数据样本不足对医疗影像数据训练造成的影响。将图像扩增得到的数据集分为训练集和验证集，用于模型训练。
49.两个轻量级目标检测网络均采用基于卷积神经网络的二阶段轻量级目标检测器构建，可以在arm设备上实现实时病灶检测。迁移学习策略是将coco自然数据集上预训练好的骨干网络权重参数迁移到病变检测网络的骨干网络中，再利用训练集(数据扩增后的oct图像或内窥镜图像)进行微调训练，采用随机梯度下降法减少预测值与实际值之间的差异，并利用反向传播计算梯度系数，最后得到适用于目标网络的深度学习模型。模型测试是利用完成模型训练后的深度学习网络对输入的oct图像和内窥镜图像进行病灶检测测试。
50.病变检测模块4的结构图如图3所示。病变检测模块4中的oct图像病变检测网络和内窥镜图像病变检测网络均采用基于卷积神经网络的轻量级目标检测网络，包括依次连接的特征提取网络、上下文增强模块、卷积层、空间注意力模块和全连接层。针对oct图像病灶与内窥镜图像病灶的成像差异对特征提取网络进行改进，针对oct图像中病变尺度大小不一的问题，在特征提取网络中采用特征金字塔结构融合多尺度特征，增强网络对不同尺度病变的检测能力；针对内窥镜图像中病灶区域与消化道组织正常区域成像相似、病灶尺度大小不一的问题，在特征提取网络中加入卷积块注意力机制强化病灶区域的关键特征；上下文增强模块利用来自多尺度的语义和上下文信息，空间注意力模块引入来自区域生成网络的信息来细化特征分布。网络训练过程中，首先在coco数据集上预训练得到特征提取网络的预训练权重参数，然后将预训练权重分别迁移到oct图像病变检测分支和内窥镜图像病变检测分支，最后根据目标数据集微调网络；在训练时，采用随机梯度下降法(sgd)进行端到端训练，权重衰减(weight decay)为0.0001，动量(momentum)为0.9，批处理大小(batch sizes)为16。
51.模型对病变的检测性能分析采用平均精度(average precision,ap)、平均精度均值(mean average precision,map)、平均召回率(average recall,ar)、iou(intersection over union)、每秒处理帧数(frames per second,fps)作为评价指标，其中平均精度为正确识别的病灶数占总识别的病灶个数的百分比，平均精度均值表示所有类别检测的平均准
确度，平均召回率表示正确识别的病灶数占测试集中识别病灶个数的百分数，iou表示预测框与真实框的面积交并比。每秒处理帧数表示检测器的运行速度。
52.多模态信息融合模块5包括异常诊断模块和多模态病灶信息量化模块。其中，异常诊断模块用于结合多模态病变检测网络的输出对病变类型进行分析；多模态病灶信息量化模块用于对分析结果提取病灶表面积大小、深度、类别信息，从而帮助医生对病情做出综合判断。
53.显示预警模块6包括实时预警模块和实时显示输出模块。实时预警模块用于对综合诊断结果进行实时预警输出，实时显示模块用于实时显示内窥镜检查过程的oct图像与内窥镜图像，并实时显示标注病灶。
54.利用上述系统的双模态胶囊内窥镜病变检测装置进行消化道病变检测的过程如下：
55.步骤1：双模态胶囊探头进入消化道待测位置，oct体外光路模块中的近红外光源发射近红外光至光纤耦合器，样品光进入oct采集模块，经样品反射后信号光返回光纤耦合器与参考光发生干涉，干涉光经过光电探测器转换为电信号。
56.步骤2：双模态胶囊探头中的照明灯发射可见光至消化道表面后反射至内窥镜成像模块中，完成内窥镜图像采集后通过光电混合缆将内窥镜图像传输至计算机。
57.步骤3：双模态胶囊探头2中内窥镜图像和oct体外光路模块1中oct信号分别通过电信号传输芯线和数据采集卡传输至计算机，并由计算机中的图像预处理模块3中进行预处理，实现信号转换、图像去噪、图像增强、图像匹配。
58.预处理过程中，oct数据通过傅里叶变换转换成oct图像，oct图像去噪使用高斯模糊、中值滤波和均值滤波，并引入各向异性扩散滤波算法实现图像去噪和增强，并基于伽马曲线实现对图像对比度和亮度的调整；内窥镜图像通过小波阈值去噪方法进行去噪，采用伽马曲线实现对图像对比度和亮度的调整。图像匹配基于成像时间轴对两种模态成像信息一一进行匹配，弥补两种模态采用速率不一致导致的图像错位，确保输入到病变检测模块中的多模态图像为同一消化道区域。
59.步骤4：图像预处理模块3将预处理后的消化道oct图像和内窥镜图像输入到病变检测模块4的轻量级目标检测网络中，从而进行病灶位置检测和分类。
60.步骤5：病变检测模块4将检测结果输入到多模态信息量化模块5对病灶信息进行异常诊断后综合检测结果输出病灶面积、病灶深度、病灶类别等辅助诊断信息。
61.多模态信息融合模块5首先判断oct图像是否检测到病灶，若没有检测到病灶则输出信息至正常或异常1模块，若检测到病灶则输出病灶信息至异常2或异常3模块；其次判断内窥镜图像是否检测到病灶，若没有检测到病灶则输出信息至正常或异常2模块，若检测到病灶，则输出病灶信息至异常1或异常3模块；对于正常模块则直接输出检测图像至显示预警模块6中实时显示输出；对于异常1、异常2、异常3的输出结果则进入病灶信息量化模块，结合病灶类型、病灶表面积、病灶深度信息综合判断。
62.步骤6：多模态信息融合模块5的输出结果的结果输入显示预警模块6中对病灶实时预警并实时显示输出。
63.实时预警输出是将多模态信息融合模块5中病灶信息量化结果转换为文字信息(病灶类型、病灶表面积、病灶深度)输出并预警；实时显示输出是将检查过程中的oct图像
和内窥镜图像显示在显示屏上并对检测到的病灶进行实时标注。
64.本发明未尽事宜为公知技术。
65.上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

技术特征：

1.一种消化道光学相干层析和内窥双模态成像装置，包括oct体外光路模块(1)和双模态胶囊探头(2)；其特征在于：双模态胶囊探头(2)与oct体外光路模块(1)通过内设有光纤芯线的信号传输线连接；所述的双模态胶囊探头(2)包括胶囊外壳(7)、二向镜(12)、oct采集模块、内窥镜成像模块和旋转驱动组件；胶囊外壳(7)的中部设置有环绕胶囊外壳(7)的透明窗口；二向镜(12)安装在胶囊外壳(7)内并由旋转驱动组件驱动旋转；二向镜(12)的转动轴线与胶囊外壳(7)的中心轴线平行；二向镜(12)的侧面与胶囊外壳(7)的中心轴线成30～60
°
夹角；二向镜(12)反射近红外光且透射可见光；所述的oct采集模块包括透镜支架(13)、光束准直器(15)、消差透镜(16)、液态透镜(17)和非球面透镜(18)；透镜支架(13)固定在胶囊外壳(7)内腔的端部；透镜支架(13)的中心安装孔内设置有光束准直器(15)、消差透镜(16)、液态透镜(17)和非球面透镜(18)；信号传输线的光纤芯线与透镜支架(13)的中心安装孔对接；光纤芯线输入双模态胶囊探头(2)的近红外光依次经过光束准直器(15)、消差透镜(16)、液态透镜(17)和非球面透镜(18)，并在二向镜(12)反射向胶囊外壳(7)的透明窗口；所述的内窥镜成像模块与二向镜(12)固定；且内窥镜成像模块朝向二向镜(12)；内窥镜成像模块的朝向与oct采集模块射出的近红外光在二向镜(12)上反射光方向一致；工作过程中，消化道上同一位置、同一时刻的近红外光反射信号和可见光反射信号均反射向二向镜(12)；近红外光反射信号在二向镜(12)反射后，经oct采集模块传输至oct体外光路模块(1)；可见光反射信号在二向镜(12)透射后照射至内窥镜成像模块。2.根据权利要求1所述的一种消化道光学相干层析和内窥双模态成像装置，其特征在于：双模态胶囊探头(2)每到达一个采集位置，二向镜(12)均转动360
°
；二向镜(12)每转动预设角度均停顿一次，oct体外光路模块(1)和内窥镜成像模块在二向镜(12)停顿时进行数据采集，得到采集位置的360
°
范围内的不同朝向的oct光谱数据和内窥图像。3.根据权利要求1所述的一种消化道光学相干层析和内窥双模态成像装置，其特征在于：所述的信号传输线采用光电混合缆(14)；光电混合缆(14)中设置有光纤芯线和电信号传输芯线；光电混合缆(14)中的光纤芯线与oct体外光路模块(1)中的光纤耦合器连接。4.根据权利要求1所述的一种消化道光学相干层析和内窥双模态成像装置，其特征在于：所述的oct体外光路模块(1)包括近红外光源、光电探测器、光纤耦合器、参考臂光路；近红外光源用于oct层析成像；光电探测器用于将oct干涉光信号转换为电信号，传输至计算机进行处理；光纤耦合器用于将近红外光源按比例分为样品光和参考光并使反射的参考光和样品光发生干涉；参考臂光路用于将参考光反射回光纤耦合器；光纤耦合器输出的样品光传输至双模态胶囊探头(2)的oct采集模块。5.根据权利要求1所述的一种消化道光学相干层析和内窥双模态成像装置，其特征在于：所述的胶囊外壳(7)内设置有照明灯(8)。照明灯(8)、旋转驱动组件和内窥镜成像模块均通过信号传输线内的电信号传输芯线引入电源和控制信号；内窥镜成像模块检测到的图像数据通过电信号传输芯线输出。6.根据权利要求1所述的一种消化道光学相干层析和内窥双模态成像装置，其特征在于：所述的旋转驱动组件包括微电机(9)、电机支架(10)和安装架(11)；微电机(9)通过电机
支架(10)固定在胶囊外壳(7)内腔端部；微电机(9)的输出轴线与胶囊外壳(7)的轴线重合；安装架(11)固定在微电机(9)的输出轴上；二向镜(12)固定在安装架(11)上；安装架(11)在内窥镜成像模块与二向镜之间的区域镂空设置。7.根据权利要求1所述的一种消化道光学相干层析和内窥双模态成像装置，其特征在于：所述二向镜(12)的侧面与胶囊外壳(7)的中心轴线成45
°
夹角；内窥镜成像模块的朝向与胶囊外壳的中心轴线相互垂直。8.根据权利要求1所述的一种消化道光学相干层析和内窥双模态成像装置，其特征在于：所述的内窥镜成像模块包括内窥镜成像镜头(19)和成像传感器(20)；内窥镜成像镜头(19)和成像传感器(20)均与二向镜(12)固定；内窥镜成像镜头(19)与成像传感器(20)的图像检测区域对齐；内窥镜成像镜头(19)朝向二向镜(12)。9.一种消化道检测系统，其特征在于：包括图像预处理模块(3)、病变检测模块(4)和如权利要求1-8中任意一项所述的消化道光学相干层析和内窥双模态成像装置；双模态胶囊探头(2)输出oct光谱数据和内窥图像传输至图像预处理模块(3)；图像预处理模块(3)将预处理得到的oct图像和内窥图像传输至病变检测模块(4)。10.根据权利要求1所述的一种消化道光学相干层析和内窥双模态成像装置，其特征在于：该消化道检测系统还包括多模态信息融合模块(5)和显示预警模块(6)；所述的图像预处理模块(3)对oct光谱数据的预处理包括将oct光谱数据转换为oct图像、oct图像去噪和oct图像增强；图像预处理模块(3)对内窥镜图像的预处理包括图像帧提取、图像边缘去除、图像去噪、图像增强和图像匹配；所述的病变检测模块(4)包括oct图像病变检测网络和内窥镜图像病变检测网络；oct图像病变检测网络和内窥镜图像病变检测网络均采用基于卷积神经网络的轻量级目标检测网络，包括特征提取网络、上下文增强模块、卷积层、空间注意力模块和全连接层。oct图像病变检测网络的特征提取网络中采用特征金字塔结构融合多尺度特征，增强网络对不同尺度病变的检测能力；内窥镜图像病变检测网络的特征提取网络中采用卷积块注意力机制强化病灶区域的关键特征；所述的病变检测模块(4)将oct图像病变检测网络和内窥镜图像病变检测网络输出的特征信号输送至多模态信息融合模块(5)；多模态信息融合模块(5)用于结合oct图像病变检测网络和内窥镜图像病变检测网络输出特征信号为医生对病情的判断提供辅助；所述的显示预警模块(6)包括实时预警模块和实时显示输出模块；实时预警模块根据多模态信息融合模块(5)输出信号进行实时预警输出；实时显示模块用于实时显示图像预处理模块(3)输出的oct图像和内窥镜图像，并分别显示oct图像病变检测网络和内窥镜图像病变检测网络检测到的目标位置。

技术总结

本发明公开了一种消化道光学相干层析和内窥双模态成像装置及检测系统；该装置包括OCT体外光路模块和双模态胶囊探头。双模态胶囊探头与OCT体外光路模块通过内设有光纤芯线的信号传输线连接。双模态胶囊探头包括胶囊外壳、二向镜、OCT采集模块、内窥镜成像模块和旋转驱动组件。OCT采集模块包括透镜支架、光束准直器、消差透镜、液态透镜和非球面透镜。本发明在胶囊探头的内腔中部倾斜设置二向镜，将消化道内同一位置、同一时刻反射出的近红外光与可见光进行分离后分别射向OCT采集模块和内窥镜成像模块；从而同时采集到消化道同一位置的OCT图像和内窥图像，以便于对消化道病变情况的综合分析。情况的综合分析。情况的综合分析。