一种手术机器人速度限制方法及系统与流程

阅读：评论：0

1.本说明书实施例涉及医疗器械技术领域，特别涉及一种手术机器人速度限制方法及系统。

背景技术：

2.凭借着伤害小、出血少、恢复快的优势，微创外科手术得到的迅猛的发展和广泛的应用。进行微创外科手术时，只需在患者的手术部位的体表做若干个小切口，通过这些小切口将内窥镜和手术器械送入患者体内，即可通过内窥镜掌握患者体内的状况，并基于手术机器人操作手术器械执行相应的手术操作。
3.不同于传统手术中由医生手持手术器械进行手术的方式，微创外科手术中医生基于医生控制端操控手术机器人，通过手术机器人间接地使用手术器械执行相应操作，为了保证手术过程的安全性，移动需要手术机器人带动手术器械移动的最大速度，避免因为手术器械移动过快增大操作难度，给患者造成意外创伤。
4.目前在设置移动速度阈值时，一般根据医生的实际操作经验进行设置。但是，针对不同的手术场景，以及在同一场手术的不同阶段，对于手术机器人的移动速度可能会具有不同的需求，使得目前凭借经验所设置的移动速度阈值可能并不适用于所有情况。若针对当前实际需求，移动速度阈值设置过高，则会增大给患者造成创伤的风险，移动速度阈值设置过低，则又会降低手术效率，延长手术时间。因此，目前亟需一种能够根据实际手术需求来设置手术机器人移动速度阈值的方法。

技术实现要素：

5.本说明书实施例的目的是提供一种手术机器人速度限制方法及系统，以解决如何基于实际手术需求设置手术机器人移动速度阈值的问题。
6.为了解决上述技术问题，本说明书实施例提出了一种手术机器人速度限制方法，包括：根据手术区域图像构建对应于手术区域的三维模型；所述手术区域图像包括在手术执行过程中采集得到的图像；在所述三维模型中区分手术器械和患者生物组织；结合所述三维模型，确定所述手术器械和患者生物组织之间的距离；基于所述手术器械与所述患者生物组织之间的距离，限定手术机器人的移动速度阈值；所述手术机器人用于带动所述手术器械移动。
7.在一些实施方式中，所述根据手术区域图像构建对应于手术区域的三维模型，包括：获取对应于所述手术区域图像的深度数据；所述深度数据用于描述手术区域图像的采集装置与所述手术区域图像中各点之间的距离；基于深度数据构建对应于手术区域的三维点云图；结合所述三维点云图和手术区域图像构建对应于手术区域的三维模型。
8.基于上述实施方式，所述结合所述三维点云图和手术区域图像构建对应于手术区域的三维模型，包括：基于三维点云图中连续分布的点确定连续空间范围；基于所述连续空间范围构建三维模型。
9.基于上述实施方式，所述获取对应于所述手术区域图像的深度数据，包括：在所述手术区域图像为双目相机拍摄的视差图像的情况下，针对所述视差图像，利用双目视差原理计算深度数据，或，获取距离传感器获取到的深度数据，所述距离传感器包括激光雷达、红外传感器、声波测距仪中的至少一种。
10.在一些实施方式中，所述在所述三维模型中区分手术器械和患者生物组织，包括：利用分类模型区分所述手术区域图像中的手术器械图像和患者生物组织图像；根据所述手术区域图像和所述三维模型之间的对应关系，在所述三维模型中分别确定手术器械图像和患者生物组织图像对应的手术器械和患者生物组织。
11.基于上述实施方式，所述利用分类模型区分所述手术区域图像中的手术器械图像和患者生物组织图像之前，还包括：对所述手术区域图像进行预处理；所述预处理包括图像筛选、图像去噪处理、图像降维处理中的至少一种。
12.基于前述实施方式，所述分类模型通过以下方式获取：获取样本图像数据；所述样本图像数据中针对手术器械和患者生物组织进行标记；针对所述样本图像数据进行特征提取得到图像特征；利用所述图像特征对初始分类模型进行训练，直至训练后的模型满足应用条件为止；所述初始分类模型包括神经网络模型。
13.基于上述实施方式，所述针对所述样本图像数据进行特征提取得到图像特征之前，还包括：对所述样本图像数据进行预处理；所述预处理包括图像筛选、图像去噪处理、图像降维处理中的至少一种。
14.在一些实施方式中，所述移动速度阈值和所述手术器械与所述患者生物组织之间的距离之间呈线性变化的关系，或，基于所述手术器械与所述患者生物组织之间的距离所对应的间隔距离区间，设置对应的移动速度阈值；所述间隔距离区间为根据预先设定的至少一个划分距离所确定的区域。
15.在一些实施方式中，所述手术机器人包括电机和电机驱动单元；所述电机驱动单元用于输出驱动电机的功率输出信号；所述电机用于驱动手术机器人移动；所述限定所述手术机器人的移动速度阈值，包括：将移动速度阈值发送至电机驱动单元，以使所述电机驱动单元根据所述移动速度阈值计算功率阈值，并基于所述功率阈值限定驱动电机的功率输出。
16.在一些实施方式中，所述在所述三维模型中区分手术器械和患者生物组织之后，还包括：若在所述三维模型中区分出至少两个手术器械，分别确定各个手术器械之间的距离；基于各个手术器械之间的距离，限定手术机器人的移动速度阈值。
17.在一些实施方式中，所述基于所述手术器械与所述患者生物组织之间的距离，限定手术机器人的移动速度阈值之后，还包括：检测到手术机器人的移动速度达到所述移动速度阈值后，在医生控制端上展示提示信息以提示医生当前手术机器人的移动速度处于被限制的状态。
18.在一些实施方式中，所述结合所述三维模型，确定所述手术器械和患者生物组织之间的距离之后，还包括：基于所述手术器械与患者生物组织之间的距离所对应的不同距离区间，在医生控制端上针对手术器械和患者生物组织添加对应形式的标记。
19.本说明书实施例还提出一种手术机器人速度限制系统，包括手术机器人、图像传感装置、手术器械和处理器；所述手术机器人用于夹持所述图像传感装置和手术器械，并带
动所述图像传感装置和手术器械移动；所述图像传感装置用于获取对应于手术区域的手术区域图像；所述处理器，用于接收所述手术区域图像，并执行以下步骤：根据手术区域图像构建对应于手术区域的三维模型；所述手术区域图像包括在手术执行过程中采集得到的图像；在所述三维模型中区分手术器械和患者生物组织；结合所述三维模型，确定所述手术器械和患者生物组织之间的距离；基于所述手术器械与所述患者生物组织之间的距离，限定手术机器人的移动速度阈值；所述手术机器人用于带动所述手术器械移动。
20.本说明书还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序/指令，所述计算机程序/指令在被执行时实现上述手术机器人速度限制方法。
21.由以上本说明书实施例提供的技术方案可见，上述手术机器人速度限制方法在手术执行过程中获取手术区域图像，并通过手术区域图像构建对应于手术区域的三维模型，在三维模型中区分出手术器械和患者生物组织后，基于三维模型中的展示效果，确定手术器械和患者生物组织之间的距离，从而能够基于手术器械和患者生物组织之间的距离来限定手术机器人的移动速度阈值。上述方法根据手术中的实时执行状况，调整手术机器人的移动速度阈值，从而保证了当前所设置的移动速度阈值符合当前手术状态的需求，既避免了手术器械移动过快对患者组织造成损伤，也避免手术器械移动过慢降低手术效率，保证了手术的执行效果。此外，通过在三维模型中对手术器械和患者生物组织进行识别，提高了距离测定的准确性，保证了实际应用效果。
附图说明
22.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本说明书实施例一种微创手术实施环境的示意图；
24.图2为本说明书实施例一种手术机器人速度限制系统的结构示意图；
25.图3为本说明书实施例一种手术机器人的结构示意图；
26.图4为本说明书实施例一种双目内窥镜的示意图；
27.图5为本说明书实施例一种手术机器人速度限制方法的流程图；
28.图6为本说明书实施例一种双目视觉的原理示意图；
29.图7a为本说明书实施例一种点云图的示意图；
30.图7b为本说明书实施例一种点云图的示意图；
31.图7c为本说明书实施例一种点云图的示意图；
32.图8a为本说明书实施例一种三维点云图的示意图；
33.图8b为本说明书实施例一种三维模型的示意图；
34.图9为本说明书实施例一种针对手术区域图像进行手术器械识别的示意图；
35.图10为本说明书实施例一种电机驱动单元和电机的结构示意图；
36.图11为本说明书实施例一种针对生物组织的边界划分的示意图；
37.图12为本说明书实施例一种手术器械与组织器官之间的距离划分的示意图；
38.图13为本说明书实施例一种距离与速度阈值之间的变化关系示意图；
39.图14为本说明书实施例一种显示屏幕展示提示信息的示意图；
40.图15为本说明书实施例一种对手术器械进行标记的示意图。
具体实施方式
41.下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
42.为了更好地理解本技术技术方案，首先对本技术的手术机器人速度限制系统所应用的微创手术场景进行介绍。
43.如图1所示，为实际的微创手术的场景示意图。在该执行环境中，包含有图像台车、患者操作端和医生操作端。患者操作端对应于手术机器人，手术机器人可以包含多个机械臂，这些机械臂可以用于夹持相应的手术器械或内窥镜等设备。机械臂可以带动手术器械或内窥镜进行运动，从而在手术过程中查看不同视角下的患者体内状况，或是执行相应的手术操作。
44.图像台车可以与内窥镜相连接，以将内窥镜拍摄到的图像在显示屏上展示，供其他医护人员查看。图像台车也具有一定的图像处理能力，进而展示对图像进行处理后的相关信息。
45.医生操作端为医生操作的终端设备，通过接收图像台车传输的图像信号，使得医生能够观察内窥镜拍摄到的图像，了解患者体内当前的手术执行状况。医生操作端也能够对患者操作端上的机械臂进行控制，以实现调整内窥镜观察视角，以及利用手术器械执行特定的操作等。
46.目前在微创手术的执行过程中，医生在医生操作端观察内窥镜获取到的患者体内图像，对医生操作端的控制臂进行操作，医生操作端再基于医生的操作动作生成相应的操作信号，并传输至患者操作端，以使患者操作端上的机械臂基于操作信号带动手术器械或内窥镜进行移动。由于这一过程中医生并不直接操控手术器械，为了保证手术安全，需要限制患者操作端对应的手术机器人的移动速度。但是，目前所设置的移动速度阈值仅仅是根据以往的操作经验所设定的固定值，难以根据实际手术时的需求对移动速度和/或移动速度阈值进行动态变动。
47.针对上述问题，本说明书实施例提出一种手术机器人速度限制系统。如图2所示，所述手术机器人速度限制系统200包括手术机器人210、图像传感装置220、手术器械230和处理器240。
48.手术机器人210为设置在患者操作端，针对患者进行手术操作的机器人。所述手术机器人210上可以夹持手术器械230和图像传感装置220，通过带动图像传感装置220移动以获取不同视角的图像，通过带动手术器械230移动可以执行相应的手术操作。如图3所示，为手术机器人210的示意图，其中，手术机器人210上的不同关节在电机的驱动下可以实现不同方位的移动，例如整体上下移动，整体转动以及操纵机械臂进行精确移动等。
49.手术器械230为在手术执行过程实现不同的手术效果的器械，例如对患者组织进行切割、取样等不同操作的器械。具体的手术器械230类型可以根据实际应用需求进行设
置，在此不再赘述。
50.图像传感装置220用于采集图像，优选的，所述图像传感装置220采集的图像能够用于构建对应的三维模型。例如，如图4所示，所述图像传感装置220可以是设置有双目相机的内窥镜，以在后续过程中基于双目视觉原理确定手术区域中不同点的空间位置。所述图像传感装置220也可以额外包含能够实现距离测量的传感器，例如激光雷达、红外测距传感器、声波测距传感器等，从而在拍摄图像的基础上，同时确定手术区域以及对应的图像中不同位置的空间距离。
51.处理器240可以接收图像传感装置220获取到的手术区域图像，并对手术区域图像进行分析处理，最终确定针对手术机器人210的移动速度和/或移动速度阈值。具体的分析处理过程可以参照需手术机器人210速度限制方法部分的描述。在确定移动速度阈值后，处理器240可以发送相应的信号至手术机器人210，以告知当前所限制的移动速度阈值，确保手术机器人210带动手术器械230移动的速度不超过所述移动速度阈值。
52.系统中不同部件之间的通讯关系可以参照图2中的描述，但不限定为图2中的通信方向。
53.基于上述手术机器人速度限制系统，介绍本说明书实施例的一种手术机器人速度限制方法。所述手术机器人速度限制方法的执行主体可以是所述处理器。如图5所示，所述手术机器人速度限制方法包括以下具体实施步骤。
54.s510：根据手术区域图像构建对应于手术区域的三维模型；所述手术区域图像包括在手术执行过程中采集得到的图像。
55.手术区域图像即为图像传感装置采集到的图像。为了契合本技术的发明目的，所述手术区域图像为在手术执行过程中，由图像传感装置针对手术区域实时采集到的图像。
56.所述手术区域为当前执行手术的环境，例如，在当前执行的是腹腔镜手术时，所述手术区域即为患者的腹内环境。相应的，所述手术区域图像可以是将图像传感装置探入患者体内后所采集到的图像。
57.在所述图像传感装置为双目内窥镜的情况下，所述手术区域图像可以是由双目内窥镜的不同摄像头分别采集的多组图像。
58.优选的，所述手术区域图像中需要包含手术器械和患者生物组织，以在后续执行步骤中能够确定手术器械和患者生物组织之间的距离。
59.在一些实施方式中，所述三维模型可以基于三维点云来构建。点云可以指代特定坐标系下的点的数据集，进而表现出各个采样点在三维坐标系中的位置，以及各个采样点之间的空间距离等。
60.具体的，可以先获取对应于所述手术区域图像的深度数据，再根据深度数据构建对应于手术区域的三维点云图，并结合三维点云图和手术区域图像构建对应于手术区域的三维模型。
61.深度数据用于描述手术区域图像中的各点与图像传感装置之间的距离。由于涉及三维模型的构建，而拍摄到的手术区域图像一般为二维图像，因此需要先确定深度数据以实现模型的构建。
62.在一些示例中，在所述手术区域图像为利用双目相机拍摄的视差图像的情况下，可以利用视差图像，基于双目视差原理直接计算深度数据。
63.如图6所示，为利用双目相机拍摄物体的场景示意图，其中，p、pl、pr分别为物体点、物体分别在左眼相机和右眼相机归一化平面上的像素点。由于左眼相机和右眼相机在基线b所在轴上有位移，使得物体p在左右相机上所成像的距离有所差异。基于图中示出的几何关系，δpp
l
pr和δpo
l
or相似，则可以构建公式式中，z为深度距离，f为焦距，即归一化平面到相机光心的距离，u
l
为左像素点到左眼相机的距离，ur为右像素点到右眼相机的距离，b为左眼相机和右眼相机之间的基线的长度。
64.通过上述方法可以计算各个像素点与双目相机之间的距离，从而获取深度数据。
65.在另一些示例中，图像传感装置中还可以包含有距离传感器，所述距离传感器包括激光雷达、红外传感器、声波测距仪中的至少一种，从而可以直接获取深度数据。相应的，图像传感装置可以只包含单目相机，使得单目相机拍摄到的图像与深度数据也能够存在对应关系。
66.优选的，在获取到手术区域图像和深度数据后，还可以构建手术区域图像-深度信息数据库，并构造手术区域图像和深度数据之间的映射关系。
67.在获取到深度数据后，即可根据深度数据构建三维点云图。如图7a所示，为一种对应于双目相机镜头方向的点云图的示意图，其中，点云图中的采样点在平面内呈均匀分布，每个采样点包含各点的横坐标x，纵坐标y和深度信息z，综合体现采样点在空间内的坐标。
68.针对各采样点的深度距离，在深度距离对应的坐标轴上对其进行量化，以体现点云的纵向深度。例如，如图7b所示，a平面和b平面为量化深度距离区间。通过各个采样点的深度信息，即可完成三维稠密点云图的构建。如图7c所示，为一种三维稠密点云图的示意图，其中，在不同深度距离上能够区分出不同的部位，从图7c中即可确定出其中手术器械所在位置。
69.在构建三维点云图后，由于三维点云图中的各点可以反映测量到的物体表面的各个点的位置，因此，可以基于三维点云图中连续分布的点确定连续空间范围，再根据所述连续空间范围来构建三维模型。连续空间范围一般对应于物体的表面，因此可以通过所述连续空间范围来反映物体表面在空间中分布的位置，进而完成模型的重建。如图8a所示，为包含有手术器械的三维点云图，针对其中手术器械部分的点云进行模型重构后，即可得到图8b所示的模型重建图，从而完成对应于手术器械的三维模型的构建。
70.上述步骤主要是通过点云的形式对手术区域所对应的三维模型进行构建，实际应用中也可以通过其他方式完成三维模型的构建，例如通过对视差图像进行分析处理，直接将视差图像转换为三维模型。具体的应用方式可以根据实际应用的需求进行设置，在此不再赘述。
71.在一些实施方式中，在获取到手术区域图像后，为了保证后续步骤的有效进行，可以针对所述手术区域图像进行预处理，预处理操作可以包括图像筛选处理、图像降维处理中的至少一种。
72.图像筛选处理主要为了去除不适用当前应用需求的图像，包括模糊图像、不包含手术器械或生物组织等识别目标的无效图像等，以保证后续操作的正常执行。筛选方法可以预先针对手术区域图像进行初步识别，判断能否从手术区域图像中识别出手术器械或生物组织，以确定手术区域图像是否满足处理条件。
73.图像降维处理可以是使用中值滤波、高斯滤波等图像滤波算法对图像进行去噪、增强。此外，降维操作能够降低图像中的数据量，避免出现过拟合的情况，保证后续的执行效果。
74.实际应用中还可以采取其他预处理方式以优化手术区域图像的质量，并不限于上述示例，在此不再赘述。
75.s520：在所述三维模型中区分手术器械和患者生物组织。
76.在完成三维模型的构建后，可以在三维模型中对手术器械和患者生物组织进行区分。具体的，可以是在手术区域图像中识别出对应于手术器械的手术器械图像和对应于患者生物组织的患者生物组织图像，再根据手术区域图像和三维模型之间的对应关系，在三维模型中区分出手术器械和患者生物组织。
77.由于一般情况下，手术器械与生物组织的颜、轮廓等图像特征存在一定的差异，因此可以直接在图像中利用颜空间实现对于手术器械和生物组织的识别。例如，如图9所示，可以针对图像进行二值化，分析图像中的颜反差来确定不同区域，通过边缘检测和判断来识别手术器械或生物组织的轮廓，完成图像的分割，进而区分出手术器械图像和患者生物组织图像。
78.在一些实施方式中，可以利用分类模型来区分所述手术区域图像中的手术器械图像和患者生物组织图像。所述分类模型可以是神经网络模型，通过对图像进行分析处理可以识别出图像中的不同模块。
79.具体的，在应用所述分类模型之前，可以先利用样本图像数据对分类模型进行训练，以保证分类模型的识别准确性。
80.所述样本图像数据中可以预先针对手术器械和患者生物组织进行标记，以通过有监督学习的方式对分类模型进行训练。优选的，在利用手术区域图像进行模型训练之前，可以对所述手术区域图像进行预处理。预处理操作可以包括图像筛选处理、图像降维处理、图像标注处理中的至少一种。图像筛选处理主要为了去除不适用当前应用需求的图像，包括模糊图像、不包含手术器械或生物组织等识别目标的无效图像等，以保证后续操作的正常执行。筛选方法可以预先针对手术区域图像进行初步识别，判断能否从手术区域图像中识别出手术器械或生物组织，以确定手术区域图像是否满足处理条件。图像降维处理可以是使用中值滤波、高斯滤波等图像滤波算法对图像进行去噪、增强。此外，降维操作能够降低图像中的数据量，避免出现过拟合的情况，保证后续的执行效果。图像标注处理主要针对图像中的手术器械和患者生物组织进行标记，具体的可以进行人工标注，也可以基于器械自身的特性或其他图像分析方法进行自动标注，在此不再赘述。
81.针对样本图像数据可以进行特征提取，得到图像特征，以将图像转换为向量特征的形式，有利于后续过程中的利用。
82.利用图像特征对预先构建的初始分类模型进行训练，直至训练后的模型满足应用条件为止。所述初始分类模型包括神经网络模型。例如，可以设置相应的损失函数，利用损失函数计算相应的损失值，并基于损失值对初始分类模型进行优化，重复上述迭代过程直至损失值满足一定条件。实际应用中可以根据需求设置模型的具体训练过程，在此不再赘述。
83.在手术区域图像中区分出手术器械图像和患者生物组织图像后，可以根据手术区
域图像和三维模型之间的对应关系，直接在三维模型中确定所对应的手术器械和患者生物组织，从而能够在后续步骤中直接针对三维模型进行分析以确定手术器械和患者生物组织之间的距离。
84.s530：结合所述三维模型，确定所述手术器械和患者生物组织之间的距离。
85.在三维模型中确定手术器械和患者生物组织对应的模块后，可以基于三维模型中的比例关系，确定手术器械和患者生物组织之间的距离。例如，可以预先确定三维模型中手术器械和患者生物组织对应的模块之间的距离，再基于固定的比例关系将这一距离转化为实际的手术器械和患者生物组织之间的距离。
86.在所述手术器械和患者生物组织为立体模块的情况下，所确定的距离可以是手术器械对应的采样点与患者生物组织之间的最小距离，也可以是手术器械的特定部位与患者生物组织之间的距离，对此不做限制。
87.在一些实施方式中，若所构建的三维模型中包含至少两个手术器械，为了避免手术器械之间相互干扰，还可以分别确定各个手术器械之间的距离，以在后续步骤综合手术器械和患者生物组织之间的距离、各个手术器械之间的距离限定手术机器人的移动速度和/或移动速度阈值。
88.s540：基于所述手术器械与所述患者生物组织之间的距离，限定手术机器人的移动速度和/或移动速度阈值；所述手术机器人用于带动所述手术器械移动。
89.在确定手术器械和患者生物组织之间的距离，可以根据这一距离来限定手术机器人的移动速度和/或移动速度阈值。限制移动速度可以是直接对手术机器人的当前速度进行控制，例如可以是控制手术机器人的移动速度维持不变，不再继续增大当前的移动速度，也可以是直接控制手术机器人逐渐减小移动速度，具体的减小幅度和速率可以基于需求进行设置。移动速度阈值即为手术机器人的最大移动速度，所述移动速度阈值可以大于或等于当前移动速度，则手术机器人的移动速度不再提高至超过所述移动速度阈值为止，所述移动速度阈值也可以小于当前移动速度，则需要控制手术机器人降低移动速度值所述移动速度阈值以下。具体的选取限定移动速度或是限定移动速度阈值或是同时限定移动速度和移动速度阈值，可以根据实际应用的需求设定对应的判断条件进行选取。
90.具体的，所述手术机器人包括电机和电机驱动单元。电机可以设置在手术机器人的各个关节处，用于驱动手术机器人进行移动。电机驱动单元用于输出驱动电机的功率输出信号，即用于限定电机的功率。在电机驱动单元获取到具体的移动速度和/或移动速度阈值后，可以根据移动速度和/或移动速度阈值计算功率和/或功率阈值，从而根据相应的功率和/或功率阈值来限定驱动电机的功率输出。
91.如图10所示，电机驱动单元中可以包括控制器和驱动器。其中，控制器可以与处理器进行通信，以接收实时变化的移动速度和/或移动速度阈值。相应的，基于移动速度和/或移动速度阈值输出相应的控制信号。驱动器根据接收到的控制信号调节电机的功率输出，进而完成对于手术机器人的移动速度的控制和/或限制。
92.在一些实施方式中，对移动速度和/或移动速度阈值进行限定，可以是基于所述手术器械与所述患者生物组织之间的距离所对应的间隔距离区间，设置对应的移动速度和/或移动速度阈值。间隔距离区间为根据预先设定的至少一个划分距离所确定的区域。
93.基于这一实施方式，可以是先确定患者生物组织的空间位置，再基于与患者生物
组织间的距离确定不同的空间区域，根据手术器械所处的空间区域确定不同的移动速度和/或移动速度阈值。例如，如图11所示，针对生物组织可以确定区域1边界和区域2边界，用于划分区域1和区域2。区域1和区域2对应于预先设定的移动速度和/或移动速度阈值，根据识别出的手术器械与生物组织之间的距离，可以直接确定手术器械所处的区域，进而确定对应的移动速度和/或移动速度阈值。
94.基于这一实施方式，还可以直接根据手术器械与生物组织之间的距离预先划分不同的距离间隔值，并为每个距离间隔值分配对应的移动速度和/或移动速度阈值。例如，如图12所示，基于手术器械相对于组织器官的距离，分别划分a、b、c、d、e五个位置，基于实际的手术器械和生物组织之间的距离和这五个位置之间的远近关系，可以直接确定对应的移动速度和/或移动速度阈值。
95.在另一些实施方式中，所述移动速度和/或移动速度阈值随所述手术器械与所述患者生物组织之间的距离的减小而减小。在该实施方式中，基于手术器械的移动，需要对移动速度阈值进行实时变化，以防止手术器械在手术环境中运动时出现“飞车”的情况。例如，如图13所示，针对不同的距离，设置不同的移动速度和/或移动速度阈值，其中，随距离的增大，移动速度和/或移动速度阈值也在不断增大。相应的，在不同距离区域内，移动速度和/或移动速度阈值可以具有不同的变化情况。
96.上述实施方式中，移动速度和/或移动速度阈值与距离之间的具体对应关系可以预先通过实验确定并通过构建相应的数据库进行保存，以使得在实际应用中能够直接根据对应关系确定移动速度阈值，保证实际手术的应用效果。
97.基于步骤s530中的示例，在识别出两个手术器械的情况下，也可以根据手术器械之间的距离来限定手术机器人的移动速度和/或移动速度阈值。具体的限定方法可以参照上述描述，在此不再赘述。此外，基于手术器械之间的距离限定移动速度和/或移动速度阈值的标准可以不同于基于手术器械与所述患者生物组织之间的距离限定移动速度和/或移动速度阈值的标准，具体可以根据实际需求进行设置。
98.在一些实施方式中，为了有效保证手术效果，当手术过程中，若检测到手术机器人的移动速度达到了当前所限定的移动速度阈值，则手术机器人的移动速度虽然在限定范围，但可能过快，则可以在医生控制端上展示提示信息以提示医生当前手术机器人的移动速度处于被限制的状态，从而提高医生对于手术器械的操控性。
99.例如，如图14所示，在医生操作端的显示屏幕的操作画面上方，可以设置提示信息区域，当检测到手术机器人移动速度达到移动速度阈值后，可以在提示信息区域展示“当前机器人移动速度达到阈值”，以提示医生当前的操作速度。
100.在一些实施方式中，在医生操作端的显示屏幕上展示手术区域的图像时，还可以基于所述手术器械与患者生物组织之间的距离所对应的不同距离区间，在医生控制端上针对手术器械和患者生物组织添加对应形式的标记。例如，当手术器械与患者生物组织之间的距离小于一定值时，可以在手术器械上覆盖其他颜，且该颜的艳丽程度可以随着距离的减小而提高；此外，也可以设置不同的格式的纹理，对此不做限制。
101.如图15所示，针对不同手术器械与生物组织之间的距离，可以在手术器械上添加不同的纹理，用于提醒医生当前手术器械与生物组织之间的距离远近，以帮助医生更好地实施微创手术。
102.通过上述实施例的介绍可以看出，所述手术机器人速度限制方法在手术执行过程中获取手术区域图像，并通过手术区域图像构建对应于手术区域的三维模型，在三维模型中区分出手术器械和患者生物组织后，基于三维模型中的展示效果，确定手术器械和患者生物组织之间的距离，从而能够基于手术器械和患者生物组织之间的距离来限定手术机器人的移动速度和/或移动速度阈值。上述方法根据手术中的实时执行状况，调整手术机器人的移动速度和/或移动速度阈值，从而保证了当前所设置的移动速度阈值符合当前手术状态的需求，既避免了手术器械移动过快对患者组织造成损伤，也避免手术器械移动过慢降低手术效率，保证了手术的执行效果。此外，通过在三维模型中对手术器械和患者生物组织进行识别，提高了距离测定的准确性，保证了实际应用效果。
103.基于图5所对应的手术机器人速度限制方法，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序/指令。所述计算机可读存储介质可以基于设备的内部总线被处理器所读取，进而通过处理器实现所述计算机可读存储介质中的程序指令。
104.在本实施例中，所述计算机可读存储介质可以按任何适当的方式实现。所述计算机可读存储介质包括但不限于随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、缓存(cache)、硬盘(hard disk drive,hdd)、存储卡(memory card)等等。所述计算机存储介质存储有计算机程序指令。在所述计算机程序指令被执行时实现本说明书图1所对应实施例的程序指令或模块。
105.在本实施例中，所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式等等。具体的，所述处理器在被设置在手术机器人速度限制系统上时可以执行图5对应的实施例中的方法步骤。
106.虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
107.本技术是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
108.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
109.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
110.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
111.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
112.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
113.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
114.本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
115.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
116.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：

1.一种手术机器人速度限制方法，其特征在于，包括：根据手术区域图像构建对应于手术区域的三维模型；所述手术区域图像包括在手术执行过程中采集得到的图像；在所述三维模型中区分手术器械和患者生物组织；结合所述三维模型，确定所述手术器械和患者生物组织之间的距离；基于所述手术器械与所述患者生物组织之间的距离，限定手术机器人的移动速度和/或移动速度阈值；所述手术机器人用于带动所述手术器械移动。2.如权利要求1所述的手术机器人速度限制方法，其特征在于，所述根据手术区域图像构建对应于手术区域的三维模型，包括：获取对应于所述手术区域图像的深度数据；所述深度数据用于描述手术区域图像的图像传感装置与所述手术区域图像中各点之间的距离；基于深度数据构建对应于手术区域的三维点云图；结合所述三维点云图和手术区域图像构建对应于手术区域的三维模型。3.如权利要求2所述的手术机器人速度限制方法，其特征在于，所述结合所述三维点云图和手术区域图像构建对应于手术区域的三维模型，包括：基于三维点云图中连续分布的点确定连续空间范围；根据所述连续空间范围构建三维模型。4.如权利要求2所述的手术机器人速度限制方法，其特征在于，所述获取对应于所述手术区域图像的深度数据，包括：在所述手术区域图像为双目相机拍摄的视差图像的情况下，针对所述视差图像，利用双目视差原理计算深度数据，或，获取距离传感器获取到的深度数据，所述距离传感器包括激光雷达、红外传感器、声波测距仪中的至少一种。5.如权利要求1所述的手术机器人速度限制方法，其特征在于，所述在所述三维模型中区分手术器械和患者生物组织，包括：利用分类模型区分所述手术区域图像中的手术器械图像和患者生物组织图像；根据所述手术区域图像和所述三维模型之间的对应关系，在所述三维模型中分别确定手术器械图像和患者生物组织图像对应的手术器械和患者生物组织。6.如权利要求5所述的手术机器人速度限制方法，其特征在于，所述分类模型通过以下方式获取：获取样本图像数据；所述样本图像数据中针对手术器械和患者生物组织进行标记；针对所述样本图像数据进行特征提取得到图像特征；利用所述图像特征对初始分类模型进行训练，直至训练后的模型满足应用条件为止；所述初始分类模型包括神经网络模型。7.如权利要求1所述的手术机器人速度限制方法，其特征在于，所述移动速度和/或移动速度阈值随所述手术器械与所述患者生物组织之间的距离的减小而减小，或，基于所述手术器械与所述患者生物组织之间的距离所对应的间隔距离区间，设置对应的移动速度和/或移动速度阈值；所述间隔距离区间为根据预先设定的至少一个划分距离所确定的区域。
8.如权利要求1所述的手术机器人速度限制方法，其特征在于，所述在所述三维模型中区分手术器械和患者生物组织之后，还包括：若在所述三维模型中区分出至少两个手术器械，分别确定各个手术器械之间的距离；基于各个手术器械之间的距离，限定手术机器人的移动速度阈值。9.如权利要求1所述的手术机器人速度限制方法，其特征在于，所述基于所述手术器械与所述患者生物组织之间的距离，限定手术机器人的移动速度阈值之后，还包括：检测到手术机器人的移动速度达到所述移动速度阈值后，在医生控制端上展示提示信息以提示医生当前手术机器人的移动速度处于被限制的状态。10.如权利要求1所述的手术机器人速度限制方法，其特征在于，所述结合所述三维模型，确定所述手术器械和患者生物组织之间的距离之后，还包括：基于所述手术器械与患者生物组织之间的距离所对应的不同距离区间，在医生控制端上针对手术器械和患者生物组织添加对应形式的标记。11.一种手术机器人速度限制系统，其特征在于，包括手术机器人、图像传感装置、手术器械和处理器；所述手术机器人用于夹持所述图像传感装置和手术器械，并带动所述图像传感装置和手术器械移动；所述图像传感装置用于获取对应于手术区域的手术区域图像；所述处理器，用于接收所述手术区域图像，并执行以下步骤：根据手术区域图像构建对应于手术区域的三维模型；所述手术区域图像包括在手术执行过程中采集得到的图像；在所述三维模型中区分手术器械和患者生物组织；结合所述三维模型，确定所述手术器械和患者生物组织之间的距离；基于所述手术器械与所述患者生物组织之间的距离，限定手术机器人的移动速度阈值；所述手术机器人用于带动所述手术器械移动。12.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，所述计算机程序/指令在被执行时实现如权利要求1-10中任一项所述方法的步骤。

技术总结

本说明书实施例提供一种手术机器人速度限制方法及系统，可应用于医疗器械技术领域。根据手术区域图像构建对应于手术区域的三维模型；所述手术区域图像包括在手术执行过程中采集得到的图像；在所述三维模型中区分手术器械和患者生物组织；结合所述三维模型，确定所述手术器械和患者生物组织之间的距离；基于所述手术器械与所述患者生物组织之间的距离，限定手术机器人的移动速度和/或移动速度阈值；所述手术机器人用于带动所述手术器械移动。上述实施例保证了当前所设置的移动速度阈值符合当前手术状态的需求，确保手术的执行效果。此外，通过在三维模型中对手术器械和患者生物组织进行识别，提高了距离测定的准确性，保证了实际应用效果。了实际应用效果。了实际应用效果。