一种颜面缺损三维目标参照数据自动构建方法

1.本发明涉及口腔临床颜面缺损修复方法；具体涉及一种颜面缺损三维目标参照数据自动构建方法。

背景技术：

2.1背景
3.口腔临床常见因先天缺损、外伤、肿瘤切除等原因造成的口腔颌面缺损，根据缺损部位不同可分为颌骨缺损、颜面部缺损、软腭缺损和舌缺损等，其发生率高达2.4
‰
，严重影响患者的生理、心理健康以及生活质量。在口腔颌面缺损中，颜面部缺损(facial defect)常表现为耳、鼻、眼、眶等面部器官的缺损或缺失，造成患者面部畸形。颜面部被称为人体的风景区，颜面部组织缺损往往带给患者生理和心理的创伤较其他部位严重，易使患者产生严重的心理障碍，难以进行正常工作和社交，甚至丧失生活的信心。因此，口腔临床颜面缺损修复的主要目的在于尽可能恢复患者面部的正常外形。
4.目前，颜面缺损修复的方法主要有外科手术修复和赝复体修复两种。外科手术修复使用患者自体组织移植方法，对组织结构功能的恢复较好，但仍有相当多的颜面缺损情况，如眼、耳、鼻等缺损，外科方法尚不能达到满意的修复效果，口腔临床常采用赝复体的形式进行修复。相比于外科手术方法，赝复体修复具有成本和风险相对较低、不受供体组织限制、无二次手术创伤等优点。但传统赝复体制作工艺复杂，涉及印模制取、蜡型制作和赝复体加工的十多个步骤，特别是蜡型制作特别强调赝复体的仿真效果，这就要求修复医生和技师不但要有足够的医学知识和经验，还要具有较高的美学素养和雕塑技能，使得赝复体的制作经验依赖性强、制作周期长、制作失败率高，较难在基层推广和普及。
5.近年来随着数字化技术的发展，计算机辅助设计(computer aided design，cad)和计算机辅助制造(computer aidedmanufacturing，cam)技术被口腔医学广泛应用。20世纪90年代，cad/cam技术引入颜面赝复体的设计和制作并成功应用于口腔临床，为赝复体的制作带来了新途径。颜面赝复体的数字化设计需要构造赝复体外表面的“三维颜面目标参照数据/模型”(3d target reference facial data)，即患者预期恢复的三维颜面正常软组织形态数据。颜面赝复体数字化设计的思路是使用“近似数据”对缺失区域形态进行补全，这个“近似数据”即为“目标参照数据”，是适合于患者个性化颜面特征、整体容貌协调美观的颜面补全数据。在目标参照数据形态的基础上再进行适当的精细修改和调整，可使之满足患者个性化的解剖和审美需求。可见，三维颜面目标参照数据的构建效果决定了颜面赝复体数字化设计的效率和效果，因此，符合医学和美学双重需求的三维颜面目标参照数据的构建，是实现高效、精确、自动化赝复体数字设计的基础和前提。
6.2国内外研究发展动态及现状
7.国内外针对三维颜面缺损目标参照数据的构建方法，目前主流技术为镜像法和数据库法：
8.(1)镜像法构建三维颜面缺损目标参照数据
9.正常人的颜面部具有左右对称性，当患者的颜面缺损区域位于颜面部一侧时(如单侧耳、眼、面颊的缺损)，可以基于cbct或光学扫描的患者三维颜面数据，建立合适的对称参考平面(如颜面正中矢状平面)，并将患者健侧组织三维形态基于该对称参考平面镜像至患侧，作为赝复体外表面形态设计的目标参照数据，这种方法称为“镜像法”。2003年、2004年和2009年，吴国锋、潘景光、赵铱民等对单侧眼眶部缺损的患者通过采集其三维颜面数据，以面中线作为镜像轴线，将健侧眼眶的三维形态镜像至缺损处，以此参考设计出缺损侧眼眶外形修复数据。2017年，唐玲等从单侧小耳畸形患者的ct数据中分割出健侧耳廓的三维形态，将健侧数据以面中线镜像至患侧进行义耳的修复设计。2018年，sophia bockey等采集单侧眼眶部缺损患者的三维颜面数据，基于一定的软件算法计算出患者颜面正中矢状平面位置，并基于该平面将健侧眼眶数据镜像至患侧作为设计修复数据的参考。2021年，pengyou等使用具有面部识别功能的智能手机采集单侧小耳患者健侧耳部三维形态数据，使用正中矢状面镜像的方法设计出患侧的义耳数据。
10.镜像法构建颜面缺损目标参照数据是颜面赝复体数字化设计中较为常用的一种方法，其优点是借助患者自身健侧完整的对称组织三维形貌数据作为患侧参照数据，可最大程度还原组织缺失区域的原有形态。不足之处是：
①
适应证范围有限，对于面中部或跨越面中线的颜面组织缺损修复(非对称性特征缺损)，无可镜像的参考信息借鉴；
②
对于临床左、右脸对称性欠佳或颜面畸形的患者，镜像健侧组织的三维形态与患侧缺损区仍存在一定差异，需要辅助大量基于点云拓扑结构的手工三维形态调整，赝复体设计难度大、设计效率低、设计效果欠佳。
11.(2)数据库法构建三维颜面缺损目标参照数据
12.当患者面部缺损位于面部中央(如鼻缺损)或跨越面中线(如鼻、面颊或鼻、眼合并缺损)，称为非对称性特征缺损。此时患者自身无法提供正常组织三维形态数据作为赝复设计的参照数据，缺损修复的难度要大大高于对称性特征缺损的情况。针对这种非对称性特征缺损的病例常采用“数据库法”构建三维颜面目标参照数据。数据库法是通过大量采集志愿者/患者的正常三维颜面数据，对三维颜面数据整体或常见缺损类型的解剖特征区域数据(如鼻区)进行必要的尺寸标准化处理(参考统计学特征尺寸进行比例缩放)，从而建立三维颜面数据库或颜面特征数据库(如鼻型数据库等)。临床病例应用时，可参考患者颜面组织缺失前的二维照片和当前余留健康颜面组织的个性化特征，医生基于临床经验及审美，确定患者缺失特征的临床分型和特征分类，进而基于一定的检索策略对数据库中的人脸或特征数据进行检索，从中挑选出大致适合的“近似形态”数据作为颜面缺损修复的三维目标参照数据。2006年，刘晓芳、赵铱民等建立了汉族人标准外鼻三维形态数据库，得到了两种性别、六种鼻型(蒜头鼻、鹰钩鼻、驼峰鼻、鞍鼻、狮子鼻、理想鼻)共12种尺寸标准化的外鼻三维数据集，用于鼻缺损患者的赝复设计。2011年，董岩、赵铱民等在上述鼻型分类的基础上，进一步建立了较为完善的外鼻三维形态数据库，该数据库包含1200例各类型外鼻三维形态数据，可通过对鼻背、鼻尖、鼻底、鼻孔和鼻翼形态等鼻细节特征的筛选，快速检索出与患者最匹配的鼻型数据，为鼻赝复体设计提供参考。2006年，熊耀阳、孙健、张富强等采用人体测量学方法，通过测量上海地区190名健康汉族成年人面部和外鼻的特征值，获得了各种外鼻形态和鼻面比例，并对鼻尖、鼻翼和鼻侧面形态进行分类，为鼻整形手术和颌面赝复体设计提供依据。2009年，熊耀阳、焦婷、张富强等采集志愿者三维颜面数据，通过软件提取鼻
部三维数据并与患者鼻缺损区进行拼接，构建出鼻赝复体参照数据，实现鼻赝复体制作。2011年，邱憬、顾晓宇、张富强等基于上海第九人民医院鼻三维模型数据库为全鼻切除患者进行鼻赝复体修复设计，取得满意效果。2013年，bernd reitemeier等采集了100例男性和102例女性的鼻部三维数据构建了鼻型三维数据库，并根据鼻宽指数将鼻型分为狭窄型、中等型和宽阔型，根据鼻形态又分为直鼻型、鹰钩鼻、驼峰鼻、朝天鼻和马鞍鼻等类型。2014年，david palousek等建立了包括罗马鼻型、希腊鼻型、努比亚鼻型、鹰钩鼻型和朝天鼻型在内的鼻型三维数据库，根据鼻缺损患者性别及二维照片在其鼻型数据库中选择合适的鼻部数据进行赝复设计。
13.相比于“镜像法”，“数据库法”进行颜面缺损修复的三维设计难度更高。“镜像法”参照患者自身组织的镜像数据作为目标参照数据，除颜面对称性欠佳的情况，镜像数据的三维形态一般可大致符合患侧三维形态，后期三维形态调整的工作量相对较少。而“数据库法”使用的目标参照数据取自“他人”三维颜面数据，虽然经过一定比例缩放处理后可大致匹配患者缺损区尺寸，但参照数据三维形态与缺失区周围组织三维形态的衔接过渡上常常存在较大差异，数据上体现为明显的台阶和叠层问题。对于口腔临床各种复杂颜面畸形缺损的情况，如何高效、精确、自动地构建出符合患者个性化三维颜面特征的最优(最适)三维目标参照数据，是本领域亟待解决的问题。
14.3回顾总结
15.口腔颌面缺损发病率高，颜面缺损尤其对患者生理和心理造成严重创伤，颜面缺损修复可为患者恢复正常生活、建立自信，是此类疾病的主要手段。随着数字化技术发展，颜面赝复体的数字化设计制作成为颜面缺损修复的主流趋势，符合患者个性化颜面特征的颜面缺损三维目标参照数据构建效果决定了赝复体最终的美观性和功能性，口腔临床迫切需要高效、精确、自动化的颜面缺损修复三维目标参照数据构建方法，满足临床复杂颜面畸形缺损患者的个性化精准诊疗需求。回顾国内外相关报道可以发现，镜像法和数据库法仍是目前颜面缺损修复三维目标参照数据的主流构建方法，实现赝复目标最优三维形态的匹配无法避免基于点云拓扑结构的手工调整，自动化程度有限。自动化、个性化、高精度和低经验依赖的数字化赝复体设计方法是发展趋向。
16.4参考文献：
17.[1]赵铱民.颌面缺损的数字化精准修复[j].中华医学杂志,2015,95(31):2508-2509.
[0018]
[2]吴国锋.颌面缺损与颌面赝复[j].中华老年口腔医学杂志,2015,13(02):122.
[0019]
[3]吴国锋，赵铱民，叶晓兰，等.单侧眼眶部缺损修复的计算机辅助设计[j].实用口腔医学杂志,2003(05):405-407.
[0020]
[4]吴国锋，赵铱民，刘晓芳，等.计算机辅助设计和制作单侧眼眶部缺损的修复[j].华西口腔医学杂志,2004(03):224-226.
[0021]
[5]高蕊,周天,白石柱,等.低剂量ct扫描获取颌面部软硬组织三维模型的初步研究[j].实用口腔医学杂志,2013(02)：214-218.
[0022]
[6]毕云鹏,刘宝钢,白石柱,等.sla与sls制作硅橡胶赝复体表面纹理的对比研究[j].临床口腔医学杂志,2017(03)：145-148.
[0023]
[7]潘景光，赵铱民，苏方.单侧眶缺损的三维仿真设计与快速制作[j].中国组织
of midfacial defects[j].j prosthet dent,1985,54(4):553-560.
[0042]
[26]farook t h,jamayet n b,abdullah j y,et al.designing 3d prosthetic templates for maxillofacial defect rehabilitation:a comparative analysis of different virtual workflows[j]puters in biology and medicine,2020,118:103646.
[0043]
[27]bockey s,berssenbr
ü
gge p,dirksen d,et alputer-aided design of facial prostheses by means of 3d-data acquisition and following symmetry analysis[j].journal of cranio-maxillofacial surgery,2018,46(8):1320-1328.
[0044]
[28]you p,liu y c,silva r c.fabrication of 3d models for microtia reconstruction using smartphone-based technology[j].annals of otology,rhinology&laryngology,2021:1049759264.
[0045]
[29]reitemeier b,b,c,et al.creation and utilization of a digital database for nasal prosthesis models[j].onkologie,2013,36(1-2):7-11.
[0046]
[30]palousek d,rosicky j,koutny d.use of digital technologies for nasal prosthesis manufacturing[j].prosthetics&orthotics international,2014,38(2):171-175.
[0047]
[31]amberg b,romdhani s,vetter t.optimal step nonrigid icp algorithms for surface registration:ieee conference on computer vision and pattern recognition[z].minneapolis,mn,usa:2007。
[0048]
5社会需求及应用前景
[0049]
口腔颌面缺损发病率高，颜面缺损尤其对患者生理和心理造成严重创伤，颜面缺损修复可为患者恢复正常生活、建立自信，是此类疾病的主要手段。随着数字化技术发展，颜面赝复体的数字化设计制作成为颜面缺损修复的主流趋势，符合患者个性化颜面特征的颜面缺损三维目标参照数据构建效果决定了赝复体最终的美观性和功能性，口腔临床迫切需要一种高效、精确、自动化的颜面缺损修复三维目标参照数据构建方法，满足临床复杂颜面畸形缺损患者的个性化精准诊疗需求。
[0050]
本发明可在颜面赝复体数字化设计领域突破个性化三维颜面目标参照数据自动化构建的瓶颈问题，大大提高口腔临床颜面赝复体数字化设计制作的自动化程度和适应证范围。该算法的实现和临床应用，可在很大程度上降低赝复体数字化设计的技术敏感性和经验依赖性，有助于提高广大口腔基层医生的赝复体设计水平，助力先进诊疗技术的基层普及和推广，具有良好的社会意义和应用前景。

技术实现要素：

[0051]
(一)要解决的技术问题
[0052]
本发明的目的是提供一种颜面缺损三维目标参照数据自动构建方法，在经典非刚性算法函数[31]基础上，本方法建立了一种具有区域差异化自适应变形特点的区域权重非刚性配准算法(region weight of non-rigid icp)，该算法可将完整形态的“三维人脸模板数据”(本方法定制的人脸数据)与三维缺损人脸数据(颜面缺损患者的个性化数据)进行最优匹配变形，从而自动构建出适合于颜面缺损数据形态补全的“三维目标参照数据”；本
方法首次实现了针对三维缺损人脸数据的高效、精确、自动化补全，可为颜面赝复体的数字化设计和制作提供参考依据。
[0053]
(二)技术方案
[0054]
本发明的一种颜面缺损三维目标参照数据自动构建方法，有以下步骤：
[0055]
(1)区域权重非刚性配准算法函数和权重策略的实现:
[0056]
在经典非刚性算法函数[31]中加入距离项权重系数wd和刚度项权重系数ws，建立具有权重参数约束的非刚性配准变形能量方程，能量方程、距离项权重系数wd和刚度项权重系数ws，见公式
①
、
②
、
③
：
[0057]
e(x)＝wded(x)+w
ses
(x)+e
l
(x)
ꢀꢀ
公式
①
[0058][0059][0060]
算法函数中的距离项：公式
②
，展开后的函数表达为：
[0061][0062]
式中，权重系数矩阵wd为对角矩阵，其对角线上的元素值对应三维人脸模板上每个数据点在当前算法内循环中的距离误差权重，n为模板人脸的点数，wd范围介于0和1之间；是kronecker乘积；i3表示3
×
3的单位矩阵；x矩阵对角线元素xi表示模板中各点的仿射变换矩阵，v矩阵代表模板人脸点集，μ矩阵代表目标人脸点集，其中μi是目标人脸上距离vi最近的点；
[0063]
距离项为表征当前算法内循三维人脸模板形变后各点与目标三维人脸之间的接近程度，为整体能量方程贡献点集距离误差影响；基于三维人脸模板功能分区：主动变形区、约束变形区和过渡变形区；为避免引入缺损区域点集的“错误”匹配误差，算法对距离权重矩阵wd的对角线各元素赋予不同的权值策略，采用的权值参考范围如以下分段形式：
[0064][0065]
算法函数中的刚度项公式
③
，展开后的函数表达为：
[0066][0067]
式中，权重系数矩阵ws为对角矩阵，其对角线上的元素值对应三维人脸模板上所有三角网格边在当前算法内循环中的变形刚度权重，k为人脸模板三角形网格的三角形边数，ws范围介于0和1之间；x矩阵对角线元素xi表示人脸模板中各点的仿射变换矩阵，n为人脸模板点集的点数，即三角网格的顶点数；为了方便刚度误差的计算，此处引入了node-arc矩阵m，m矩阵表征模板上点与点之间的连接关系，其行代表三角形网格的边，列代表网格顶
点，当第k条边连接着第i个顶点和第j个顶点时，i＜j，m
ki
的元素为-1，同时m
kj
的元素为1，该行其他元素为0；
[0068]
刚度项为表征当前算法内循环三维人脸模板变形前后的三维形态相似性，为整体能量方程贡献人脸模板形变的平滑度误差影响，较大的刚度系数ws接近1时人脸模板具有较好的形变平滑性，反之，ws接近0时则平滑性较差；由于颜面缺损人脸数据的匹配需求在不同功能分区有所差异，统一同质化的ws变形策略使对应于患者颜面缺损区域的人脸模板发生“过度形变”；因此，针对三维人脸模板3个功能分区，对刚度权重矩阵ws各对角线元素在外循环中的递减规律加以不同约束；
[0069]
基于上述区域变形权重参数策略，对区域权重非刚性配准算法变形能量方程—损失函数，求导数为0时，即误差最小时，求解线性方程组，获得具有分区域：3个功能分区自适应效果的三维人脸模板变形匹配结果；
[0070]
(2)颜面缺损数据三维目标参照数据的自动构建方法：
[0071]
收集口腔临床颜面形态完整的患者及志愿者三维颜面数据，在geomagic软件中对原始人脸数据进行局部数据删减，构建出“虚拟患者”颜面缺损数据；
[0072]
将三维人脸模板与虚拟患者人脸首先基于对应的解剖标志点进行模板数据的尺寸缩放和位置对齐，并将患者人脸的缺损区域边缘3d曲线投影至三维人脸模板，形成主要变形区与过渡变形区分界线；再将此分界线向内部沿模板曲率形态偏置3—5mm宽度，构建过渡变形区与约束变形区分界线。
[0073]
其中：所述距离项基于三维人脸模板功能分区：
[0074]
①
约束变形区：三维人脸模板上对应于略小于患者颜面缺损范围的区域，该区域人脸模板上的vi点在目标人脸t上不到对应点，即对应目标点缺失，然而算法仍会寻缺损区域边缘点作为所谓的“最近点”计算距离误差。为了避免此区域点集的“错误”距离误差贡献，赋予wd极低的权值范围，降低该区域点集距离误差对能量方程的影响；
[0075]
②
主要变形区：三维人脸模板上对应于患者颜面非缺损范围的区域，该区域人脸模板上的vi绝大部分可以在目标人脸t上到合适的对应点，考虑到该区域对应于缺损边缘的点仍可能存在一定不理想的距离误差贡献，赋予wd一较高的权值范围；
[0076]
③
过渡变形区：三维人脸模板上对应于约束变形区和主要变形区之间的区域，该区域模板点集的内外边缘需要分别对接主要变形区和约束变形区，该区域虽然点集分布范围不大，但距离权值需兼顾由“积极变形”到“限制变形”的功能需求，赋予wd合适的过渡范围权值；
[0077]
所述刚度项三维人脸模板3个功能分区：
[0078]
①
约束变形区：三维人脸模板上对应于略小于患者颜面缺损范围的区域，该区域三维人脸模板的解剖形态需要在整个算法流程中具有适度的特征存续能力，即在受人脸模板整体变形趋势引导下的随变过程中，还需维持足够的区域特征表达能力，以弥补缺失区域应修复的正常组织形态。该区域点集的ws从初始值1呈极缓慢的下降变化趋势；
[0079]
②
主要变形区：三维人脸模板上对应于患者颜面非缺损范围的区域，该区域主要实现三维人脸模板整体形态的匹配功能，应充分体现非刚性配准算法先整体后局部的算法策略，该区域点集的ws从初始值1呈初期略缓、后期显著的下降趋势；
[0080]
③
过渡变形区：三维人脸模板上对应于约束变形区和主要变形区之间的区域，该
区域模板点集的变形起到对主要变形区和约束变形区三维形态上的曲率衔接和光滑移形，该区域点集的ws亦从相同的初始值1，以介于前两者下降趋势之间的规律变化。
[0081]
(三)有益效果
[0082]
本发明的优点在于：
[0083]
1、本发明可在颜面赝复体数字化设计领域突破个性化三维颜面目标参照数据自动化构建的瓶颈问题，大大提高口腔临床颜面赝复体数字化设计制作的自动化程度和适应证范围；本发明的算法的实现和临床应用，可在很大程度上降低赝复体数字化设计的技术敏感性和经验依赖性，有助于提高广大口腔基层医生的赝复体设计水平，助力先进诊疗技术的基层普及和推广，具有良好的社会意义和应用前景；
[0084]
2、本发明建立了一种具有区域差异化自适应变形特点的区域权重非刚性配准算法，该算法可将完整形态的“三维人脸模板数据”(本发明定制的人脸数据)与三维缺损人脸数据(颜面缺损患者的个性化数据)进行最优匹配变形，从而自动构建出适合于颜面缺损数据形态补全的“三维目标参照数据”。本发明首次实现了针对三维缺损人脸数据的高效、精确、自动化补全，可为颜面赝复体的数字化设计和制作提供参考依据；
[0085]
3、本发明首次提出的具有区域变形权重策略的非刚性配准算法——这种由算法实现的三维人脸模板区域差异化自适应变形技术方案，可实现无需人工干预下的三维颜面缺损修复个性化目标参照数据的高效、精确、自动化构建。
附图说明
[0086]
图1是本发明的三维人脸模板3个功能分区刚度权重系数的递减规律曲线；
[0087]
图1中：a：约束变形区下降梯度函数；b：过渡变形区下降梯度函数；c：主要变形区下降梯度函数；
[0088]
图2是本发明构建的区域权重非刚性配准算法的算法流程图；
[0089]
图3是本发明算法实现的三维人脸模板变形效果图；
[0090]
图3中：a：鼻缺损的患者三维人脸示意图；b：本发明算法实现的三维人脸模板变形效果的正面图；c：本发明算法实现的三维人脸模板变形效果的侧面图；
[0091]
图4是全鼻缺损病例的示意图；
[0092]
图5是本发明三维人脸模板功能分区示意图；
[0093]
图5中：1为主要变形区域；2为过渡变形区域；3为约束变形区域。
具体实施方式
[0094]
以下实施例用于说明本发明，但不用来限制本发明的范围。
[0095]
本发明的一种颜面缺损三维目标参照数据自动构建方法，有以下步骤：
[0096]
(1)区域权重非刚性配准算法函数和权重策略的实现:
[0097]
在经典非刚性算法函数中加入距离项权重系数wd和刚度项权重系数ws，建立具有权重参数约束的非刚性配准变形能量方程，能量方程、距离项权重系数wd和刚度项权重系数ws，见公式
①
、
②
、
③
：
[0098]
e(x)＝wded(x)+w
ses
(x)+e
l
(x)
ꢀꢀ
公式
①
[0099][0100][0101]
算法函数中的距离项：公式
②
，展开后的函数表达为：
[0102][0103]
式中，权重系数矩阵wd为对角矩阵，其对角线上的元素值对应三维人脸模板上每个数据点在当前算法内循环中的距离误差权重，n为模板人脸的点数，wd范围介于0和1之间；是kronecker乘积；i3表示3
×
3的单位矩阵；x矩阵对角线元素xi表示模板中各点的仿射变换矩阵，v矩阵代表模板人脸点集，μ矩阵代表目标人脸点集，其中μi是目标人脸上距离vi最近的点；
[0104]
距离项为表征当前算法内循三维人脸模板形变后各点与目标三维人脸之间的接近程度，为整体能量方程贡献点集距离误差影响；基于三维人脸模板功能分区：主动变形区、约束变形区和过渡变形区；为避免引入缺损区域点集的“错误”匹配误差，算法对距离权重矩阵wd的对角线各元素赋予不同的权值策略，采用的权值参考范围如以下分段形式：
[0105][0106]
算法函数中的刚度项公式
③
，展开后的函数表达为：
[0107][0108]
式中，权重系数矩阵ws为对角矩阵，其对角线上的元素值对应三维人脸模板上所有三角网格边在当前算法内循环中的变形刚度权重，k为人脸模板三角形网格的三角形边数，ws范围介于0和1之间；x矩阵对角线元素xi表示人脸模板中各点的仿射变换矩阵，n为人脸模板点集的点数，即三角网格的顶点数；为了方便刚度误差的计算，此处引入了node-arc矩阵m，m矩阵表征模板上点与点之间的连接关系，其行代表三角形网格的边，列代表网格顶点，当第k条边连接着第i个顶点和第j个顶点时，i＜j，m
ki
的元素为-1，同时m
kj
的元素为1，该行其他元素为0；
[0109]
刚度项为表征当前算法内循环三维人脸模板变形前后的三维形态相似性，为整体能量方程贡献人脸模板形变的平滑度误差影响，较大的刚度系数ws接近1时人脸模板具有较好的形变平滑性，反之，ws接近0时则平滑性较差；由于颜面缺损人脸数据的匹配需求在不同功能分区有所差异，统一同质化的ws变形策略使对应于患者颜面缺损区域的人脸模板发生“过度形变”；因此，针对三维人脸模板3个功能分区，对刚度权重矩阵ws各对角线元素在外循环中的递减规律加以不同约束；
[0110]
基于上述区域变形权重参数策略，对区域权重非刚性配准算法变形能量方程—损失函数，求导数为0时，即误差最小时，求解线性方程组，获得具有分区域：3个功能分区自适应效果的三维人脸模板变形匹配结果；
[0111]
(2)颜面缺损数据三维目标参照数据的自动构建方法：
[0112]
收集口腔临床颜面形态完整的患者及志愿者三维颜面数据，在geomagic软件中对原始人脸数据进行局部数据删减，构建出“虚拟患者”颜面缺损数据；
[0113]
将三维人脸模板与虚拟患者人脸首先基于对应的解剖标志点进行模板数据的尺寸缩放和位置对齐，并将患者人脸的缺损区域边缘3d曲线投影至三维人脸模板，形成主要变形区与过渡变形区分界线；再将此分界线向内部沿模板曲率形态偏置3—5mm宽度，构建过渡变形区与约束变形区分界线。
[0114]
其中：所述距离项基于三维人脸模板功能分区：
[0115]
①
约束变形区：三维人脸模板上对应于略小于患者颜面缺损范围的区域，该区域人脸模板上的vi点在目标人脸t上不到对应点，即对应目标点缺失，然而算法仍会寻缺损区域边缘点作为所谓的“最近点”计算距离误差。为了避免此区域点集的“错误”距离误差贡献，赋予wd极低的权值范围，降低该区域点集距离误差对能量方程的影响；
[0116]
②
主要变形区：三维人脸模板上对应于患者颜面非缺损范围的区域，该区域人脸模板上的vi绝大部分可以在目标人脸t上到合适的对应点，考虑到该区域对应于缺损边缘的点仍可能存在一定不理想的距离误差贡献，赋予wd一较高的权值范围；
[0117]
③
过渡变形区：三维人脸模板上对应于约束变形区和主要变形区之间的区域，该区域模板点集的内外边缘需要分别对接主要变形区和约束变形区，该区域虽然点集分布范围不大，但距离权值需兼顾由“积极变形”到“限制变形”的功能需求，赋予wd合适的过渡范围权值；
[0118]
所述刚度项三维人脸模板3个功能分区：
[0119]
①
约束变形区：三维人脸模板上对应于略小于患者颜面缺损范围的区域，该区域三维人脸模板的解剖形态需要在整个算法流程中具有适度的特征存续能力，即在受人脸模板整体变形趋势引导下的随变过程中，还需维持足够的区域特征表达能力，以弥补缺失区域应修复的正常组织形态。该区域点集的ws从初始值1呈极缓慢的下降变化趋势；
[0120]
②
主要变形区：三维人脸模板上对应于患者颜面非缺损范围的区域，该区域主要实现三维人脸模板整体形态的匹配功能，应充分体现非刚性配准算法先整体后局部的算法策略，该区域点集的ws从初始值1呈初期略缓、后期显著的下降趋势；
[0121]
③
过渡变形区：三维人脸模板上对应于约束变形区和主要变形区之间的区域，该区域模板点集的变形起到对主要变形区和约束变形区三维形态上的曲率衔接和光滑移形，该区域点集的ws亦从相同的初始值1，以介于前两者下降趋势之间的规律变化。
[0122]
本发明首次提出的具有区域变形权重策略的非刚性配准算法——这种由算法实现的三维人脸模板区域差异化自适应变形技术方案，可实现无需人工干预下的三维颜面缺损修复个性化目标参照数据的高效、精确、自动化构建。
[0123]
如上所述，便可较为充分的实现本发明。以上所述仅为本发明的较为合理的实施实例，本发明的保护范围包括但并不局限于此，本领域的技术人员任何基于本发明技术方案上非实质性变性变更均包括在本发明包括范围之内。

技术特征：

1.一种颜面缺损三维目标参照数据自动构建方法，其特征在于有以下步骤：(1)区域权重非刚性配准算法函数和权重策略的实现:在经典非刚性算法函数中加入距离项权重系数w
d
和刚度项权重系数w
s
，建立具有权重参数约束的非刚性配准变形能量方程，能量方程、距离项权重系数w
d
和刚度项权重系数w
s
，见公式
①
、
②
、
③
：e(x)＝w
d
e
d
(x)+w
s
e
s
(x)+e
l
(x)
ꢀꢀꢀꢀ
公式
①①
算法函数中的距离项：公式
②
，展开后的函数表达为：式中，权重系数矩阵w
d
为对角矩阵，其对角线上的元素值对应三维人脸模板上每个数据点在当前算法内循环中的距离误差权重，n为模板人脸的点数，w
d
范围介于0和1之间；是kronecker乘积；i3表示3
×
3的单位矩阵；x矩阵对角线元素x
i
表示模板中各点的仿射变换矩阵，v矩阵代表模板人脸点集，μ矩阵代表目标人脸点集，其中μ
i
是目标人脸上距离v
i
最近的点；距离项为表征当前算法内循三维人脸模板形变后各点与目标三维人脸之间的接近程度，为整体能量方程贡献点集距离误差影响；基于三维人脸模板功能分区：主动变形区、约束变形区和过渡变形区；为避免引入缺损区域点集的“错误”匹配误差，算法对距离权重矩阵w
d
的对角线各元素赋予不同的权值策略，采用的权值参考范围如以下分段形式：算法函数中的刚度项公式
③
，展开后的函数表达为：式中，权重系数矩阵w
s
为对角矩阵，其对角线上的元素值对应三维人脸模板上所有三角网格边在当前算法内循环中的变形刚度权重，k为人脸模板三角形网格的三角形边数，w
s
范围介于0和1之间；x矩阵对角线元素x
i
表示人脸模板中各点的仿射变换矩阵，n为人脸模板点集的点数，即三角网格的顶点数；为了方便刚度误差的计算，此处引入了node-arc矩阵m，m矩阵表征模板上点与点之间的连接关系，其行代表三角形网格的边，列代表网格顶点，当第k条边连接着第i个顶点和第j个顶点时，i＜j，m
ki
的元素为-1，同时m
kj
的元素为1，该行其他元素为0；
刚度项为表征当前算法内循环三维人脸模板变形前后的三维形态相似性，为整体能量方程贡献人脸模板形变的平滑度误差影响，较大的刚度系数w
s
接近1时人脸模板具有较好的形变平滑性，反之，w
s
接近0时则平滑性较差；由于颜面缺损人脸数据的匹配需求在不同功能分区有所差异，统一同质化的w
s
变形策略使对应于患者颜面缺损区域的人脸模板发生“过度形变”；因此，针对三维人脸模板3个功能分区，对刚度权重矩阵w
s
各对角线元素在外循环中的递减规律加以不同约束；基于上述区域变形权重参数策略，对区域权重非刚性配准算法变形能量方程—损失函数，求导数为0时，即误差最小时，求解线性方程组，获得具有分区域：3个功能分区自适应效果的三维人脸模板变形匹配结果；(2)颜面缺损数据三维目标参照数据的自动构建方法：收集口腔临床颜面形态完整的患者及志愿者三维颜面数据，在geomagic软件中对原始人脸数据进行局部数据删减，构建出“虚拟患者”颜面缺损数据；将三维人脸模板与虚拟患者人脸首先基于对应的解剖标志点进行模板数据的尺寸缩放和位置对齐，并将患者人脸的缺损区域边缘3d曲线投影至三维人脸模板，形成主要变形区与过渡变形区分界线；再将此分界线向内部沿模板曲率形态偏置3—5mm宽度，构建过渡变形区与约束变形区分界线。2.根据权利要求1所述的一种颜面缺损三维目标参照数据自动构建方法，其特征在于：所述距离项基于三维人脸模板功能分区：
①
约束变形区：三维人脸模板上对应于略小于患者颜面缺损范围的区域，该区域人脸模板上的v
i
点在目标人脸t上不到对应点，即对应目标点缺失，然而算法仍会寻缺损区域边缘点作为所谓的“最近点”计算距离误差。为了避免此区域点集的“错误”距离误差贡献，赋予w
d
极低的权值范围，降低该区域点集距离误差对能量方程的影响；
②
主要变形区：三维人脸模板上对应于患者颜面非缺损范围的区域，该区域人脸模板上的vi绝大部分可以在目标人脸t上到合适的对应点，考虑到该区域对应于缺损边缘的点仍可能存在一定不理想的距离误差贡献，赋予w
d
一较高的权值范围；
③
过渡变形区：三维人脸模板上对应于约束变形区和主要变形区之间的区域，该区域模板点集的内外边缘需要分别对接主要变形区和约束变形区，该区域虽然点集分布范围不大，但距离权值需兼顾由“积极变形”到“限制变形”的功能需求，赋予w
d
合适的过渡范围权值；所述刚度项三维人脸模板3个功能分区：
①
约束变形区：三维人脸模板上对应于略小于患者颜面缺损范围的区域，该区域三维人脸模板的解剖形态需要在整个算法流程中具有适度的特征存续能力，即在受人脸模板整体变形趋势引导下的随变过程中，还需维持足够的区域特征表达能力，以弥补缺失区域应修复的正常组织形态。该区域点集的w
s
从初始值1呈极缓慢的下降变化趋势；
②
主要变形区：三维人脸模板上对应于患者颜面非缺损范围的区域，该区域主要实现三维人脸模板整体形态的匹配功能，应充分体现非刚性配准算法先整体后局部的算法策略，该区域点集的w
s
从初始值1呈初期略缓、后期显著的下降趋势；
③
过渡变形区：三维人脸模板上对应于约束变形区和主要变形区之间的区域，该区域模板点集的变形起到对主要变形区和约束变形区三维形态上的曲率衔接和光滑移形，该区
域点集的w
s
亦从相同的初始值1，以介于前两者下降趋势之间的规律变化。

技术总结

本发明涉及一种颜面缺损三维目标参照数据自动构建方法，有以下步骤：(1)区域权重非刚性配准算法函数和权重策略的实现:在经典非刚性算法函数中加入距离项权重系数W

技术研发人员：

赵一姣 温奥楠 王勇 朱玉佳 高梓翔 秦庆钊

受保护的技术使用者：

北京大学口腔医学院

技术研发日：

2022.10.14

技术公布日：

2022/12/30