动态三维表面速写的制作方法

阅读：评论：0

动态三维表面速写
1.背景
技术领域
2.本技术涉及生成物理对象的三维(3d)渲染，并且通过在物理对象之上物理地描划(trace)输入设备来注释和细化3d渲染。本技术还涉及由输入设备描划的曲线的距离测量。

背景技术：

3.在包括汽车工业的许多工业中，物理模型(诸如粘土模型)被用于建模汽车设计，并且物理图示汽车的设计特征。细化和增强物理模型是设计汽车以及其他工业或消费品的重要任务。在工业设计过程期间，设计师和3d建模师使用工具和对物理模型的磁带标记变化来塑造物理模型。然而，物理塑造物理模型非常耗时，而且通常不容易逆转，因为物理模型可能需要被修补，以逆转对模型所做的改变。
4.因此，需要一种方法和装置，用于渲染物理对象的3d模型，并且通过在3d模型上速写(sketching)来增强3d模型，并且以数字或虚拟方式查看增强后的3d模型。

技术实现要素：

5.在实施例中，一种系统包括三维(3d)扫描仪，该3d扫描仪被配置为扫描物理对象的外表面，并且输出表示对象的外表面的数据。在实施例中，系统包括处理器，该处理器被配置为接收表示对象的外表面的数据，并且基于接收到的数据来生成对象的3d模型，并且基于生成的3d模型来输出对象的3d渲染。在实施例中，系统包括显示器，该显示器被配置为接收对象的3d渲染，并且显示对象的3d渲染。系统包括：输入设备，能操作以在对象的外表面的至少一个部分之上物理地描划；以及跟踪设备，被配置为在输入设备在对象的外表面的至少一个部分之上物理地描划时跟踪输入设备的定位，并且在输入设备在对象之上描划时，输出表示输入设备的至少一个空间位置的数据。处理器被配置为接收表示输入设备的至少一个空间位置的数据，至少部分地基于表示输入设备的至少一个空间位置的数据来增强对象的3d渲染，并且响应于增强对象的3d渲染，将对象的增强后的3d渲染输出到显示器。在实施例中，显示器被配置为显示对象的增强后的3d渲染。
6.在实施例中，处理器被配置为通过至少以下操作来增强对象的3d渲染：基于表示输入设备的至少一个空间位置的数据来识别在空间中相对于对象的外表面具有一个或多个相应的位置的一条或多条曲线；以及分别在与空间中相对于对象的外表面的一个或多个位置相对应的一个或多个渲染位置处，将一条或多条曲线叠加在对象的3d渲染上。
7.在实施例中，输入设备是压敏的，并且被配置为在输入设备在对象的外表面的至少一个部分之上物理地描划时，感测施加到输入设备的压力，并且输出表示压力的数据。处理器被配置为在输入设备在对象的外表面的至少一个部分之上物理地描划以形成一条或多条曲线时，至少部分地基于施加到输入设备的压力来确定一条或多条曲线的相应的一个或多个宽度，并且将具有相应的一个或多个宽度的一条或多条曲线叠加在对象的3d渲染
上。
8.在实施例中，输入设备包括压敏尖端，该压敏尖端能操作以在输入设备在对象的外表面的至少一个部分之上物理地描划时，感测施加到输入设备的压力。在实施例中，输入设备包括第一控制输入，该第一控制输入能操作以接收一条或多条曲线的一个或多个相应的宽度指示。输入设备被配置为将表示一个或多个相应的宽度指示的数据输出到处理器，并且处理器被配置为接收表示一个或多个相应的宽度指示的数据，基于表示一个或多个相应的宽度指示的数据来确定一条或多条曲线的相应的一个或多个宽度，并且将具有相应的一个或多个宽度的一条或多条曲线叠加在对象的3d渲染上。在实施例中，显示器是头戴式显示器，该头戴式显示器被配置为显示对象的3d渲染，对象的3d渲染被叠加在另外通过头戴式显示器视觉可见的物理对象上。
9.在实施例中，一种系统包括三维(3d)扫描仪，该3d扫描仪被配置为扫描物理对象的外表面，并且输出表示对象的外表面的数据。系统包括处理器，该处理器被配置为接收表示对象的外表面的数据，基于接收到的数据来生成对象的3d模型，并且基于生成的3d模型来输出对象的3d渲染。在实施例中，系统包括：显示器，被配置为接收对象的3d渲染，并且显示对象的3d渲染；以及输入设备，能操作以在对象的外表面的至少一个部分之上物理地描划。系统包括跟踪设备，该跟踪设备被配置为在输入设备在对象的外表面的至少一个部分之上描划时，跟踪输入设备的定位，并且在输入设备在对象的外表面之上描划时，输出表示输入设备在3d空间中的至少一个位置的数据。处理器被配置为接收表示输入设备的至少一个位置的数据，至少部分地基于表示输入设备的至少一个位置的数据来修改对象的3d模型，基于修改后的3d模型来生成对象的更新后的3d渲染，并且响应于生成对象的更新后的3d渲染，将对象的更新后的3d渲染输出到显示器。在实施例中，显示器被配置为显示对象的更新后的3d渲染。
10.在实施例中，处理器被配置为通过生成包括多个顶点和多个边缘的多边形网格来生成对象的3d模型。在实施例中，处理器被配置为通过至少改变多个边缘中的边缘或者多个顶点中的顶点的位置以对应于输入设备在3d空间中的至少一个位置，修改对象的3d模型。在实施例中，处理器被配置为通过至少向多个顶点添加第一顶点来修改对象的3d模型，该第一顶点在空间中的位置对应于输入设备在3d空间中的至少一个位置。在实施例中，处理器被配置为通过至少从多个顶点移除第二顶点来修改对象的3d模型，该第二顶点的位置在3d空间中最接近第一顶点的位置。在实施例中，显示器是头戴式显示器，该头戴式显示器被配置为显示对象的3d渲染，对象的3d渲染被叠加在另外通过头戴式显示器视觉可见的物理对象上，并且还被配置为显示对象的更新后的3d渲染，对象的更新后的3d渲染被叠加在另外通过头戴式显示器视觉可见的物理对象上。
11.在实施例中，一种系统包括三维(3d)扫描仪，该3d扫描仪被配置为扫描物理对象的外表面，并且输出表示对象的外表面的数据。在实施例中，系统包括处理器，该处理器被配置为接收表示对象的外表面的数据，并且基于接收到的数据来生成对象的3d模型，并且基于生成的3d模型来输出对象的3d渲染。在实施例中，系统包括显示器，该显示器被配置为接收对象的3d渲染，并且显示对象的3d渲染。系统包括：输入设备，能操作以在对象的外表面的至少一个部分之上物理地描划；以及跟踪设备，被配置为在输入设备在对象的外表面的至少一个部分之上描划时跟踪输入设备的定位，并且在输入设备在对象之上描划时，输
出表示输入设备的至少两个位置的数据。处理器被配置为接收表示至少两个位置的数据，确定至少两个位置之间的距离，并且输出表示距离的数据。
12.处理器被配置为基于表示至少两个位置之间的输入设备的位置的数据来识别曲线，并且沿着识别的曲线确定至少两个位置之间的距离。显示器被配置为接收表示距离的数据，并且在显示器上显示距离。输入设备包括控制输入，该控制输入能操作以接收对输入设备的多种操作模式中的第一操作模式的选择，并且输出指示第一操作模式的数据。
13.在实施例中，处理器被配置为接收指示第一操作模式的数据，并且响应于接收到指示第一操作模式的数据，确定至少两个位置之间的距离，并且输出表示距离的数据。在实施例中，输入设备经由控制输入接收对输入设备的多种操作模式中的第二操作模式的选择，并且输出指示第二操作模式的数据。处理器被配置为接收指示第二操作模式的数据，并且响应于接收到指示第二操作模式的数据，在输入设备在对象的外表面的至少一个部分之上描划时，基于从跟踪输入设备的跟踪设备接收的定位信息来增强对象的3d渲染。处理器被配置为接收指示第二操作模式的数据，并且响应于接收到指示第二操作模式的数据，在输入设备在对象的外表面的至少一个部分之上描划时，基于从跟踪输入设备的跟踪设备接收的定位信息来修改对象的3d模型，并且基于修改后的3d模型来生成对象的更新后的3d渲染。
附图说明
14.图1示出了扫描物理对象的三维(3d)扫描仪。
15.图2示出了3d渲染系统。
16.图3示出了根据本公开的实施例的输入设备。
17.图4示出了用于增强对象的3d渲染的方法的流程图。
18.图5示出了用于基于输入设备的位置来修改对象的3d渲染的方法的流程图。
19.图6示出了用于基于输入设备的位置的距离测量的方法的流程图。
具体实施方式
20.图1示出了扫描物理对象101的三维(3d)扫描仪102。3d扫描仪102可以是被配置为扫描物理对象101或其外表面以生成物理对象101的三维模型的任何设备。3d扫描仪102可以是非接触或接触式扫描仪。进一步地，3d扫描仪102可以是活动扫描仪或者非活动扫描仪。3d扫描仪102可以使用用于扫描对象的任何技术，诸如飞行时间(tof)或三角测量。
21.3d扫描仪102可以是tof 3d激光扫描仪。3d扫描仪102可以是使用激光探测物理对象101的活动扫描仪。3d扫描仪102可以是立体扫描仪。3d扫描仪102可以包括tof激光测距仪。基于由3d扫描仪102发射的光脉冲的往返时间的定时，激光测距仪可以识别3d扫描仪102与物理对象101的表面之间的距离。3d扫描仪102发射激光脉冲，检测由物理对象101的表面反射的激光脉冲的反射，并且确定当激光脉冲被发射时的时刻与当激光脉冲的反射被检测到时的时刻之间的持续时间(往返时间)。3d扫描仪102基于所确定的时间和光速来确定3d扫描仪102与物理对象101的表面之间的距离。
22.3d扫描仪102可以定向地发射激光脉冲，以扫描物理对象101。因此，3d扫描仪102从多个视图扫描物理对象101。tof激光测距仪可以一次扫描一个点的整个视场，并且可以
改变其视图方向以扫描对象101的外表面的不同点。视图方向可以通过旋转测距仪或者使用旋转反射镜的系统等来改变。
23.图2示出了3d渲染系统106。系统106包括3d扫描仪102、3d渲染设备108(以框图形式示出)、显示器110(例如以绘图方式被示出为头戴式显示器)、输入设备112和用于输入设备112的跟踪设备113。3d渲染设备108包括处理器114、存储器116和一个或多个通信设备118。存储器116和一个或多个通信设备118被通信地耦合至处理器114。3d渲染设备108被通信地耦合至3d扫描仪102、显示器110、输入设备112和跟踪设备113。
24.处理器114可以是被配置为进行本文描述的操作的任何类型的计算设备。处理器114可以是图形处理单元(gpu)或中央处理单元(cpu)等。处理器114也可以是控制器、微控制器或微处理器等。存储器116可以是被配置为存储数据的任何类型的存储设备。数据可以是图形数据(诸如物理对象101的表面的3d渲染)，或者数据可以是可执行指令，当由处理器114执行时，该可执行指令使处理器进行本文描述的操作。
25.一个或多个通信设备118可以是被配置为与其他通信设备交流或交换数据的任何类型的通信设备。通信设备118可以是无线或有线通信设备，并且可以是调制解调器或收发器等。通信设备118可以从另一通信设备接收数据，或者向另一通信设备传输数据。尽管图2中未示出，但是其他通信设备可以是3d扫描仪102、显示器110、输入设备112和/或跟踪设备113的一部分。可以包括一个或多个通信设备的一个或多个通信设备可以使用与相应通信设备相关联的任何类型的协议来通信。该协议可以是电气和电子工程师协会(ieee)802.11协议、蓝牙协议、通用串行总线(usb)协议或者蜂窝通信协议，诸如第三代合作伙伴计划(3gpp)长期演进(lte)协议等。
26.注意，3d渲染设备108可以是计算机、平板计算机或智能手机等。3d渲染设备108可以独立于显示器110或跟踪设备102。然而，在替代实施例中，3d渲染设备108可以是显示器110或跟踪设备102的一部分，或者由3d渲染设备108进行的操作可以改为由显示器110和处理器、存储器或其一个或多个通信设备进行。
27.3d渲染设备108通过一个或多个通信设备118接收携带表示扫描后的物理对象101的数据的信号。信号可以根据由一个或多个通信设备118使用的通信协议的相应调制和编码来调制和编码。
28.一个或多个通信设备118对信号进行解调和译码，并且将表示扫描后的物理对象101的数据输出到处理器114。处理器114评估表示扫描后的物理对象101的数据。处理器114基于表示物理对象101的数据来生成物理对象101的3d模型。物理对象101的3d模型可以包括多边形网格，该多边形网格包括多个顶点和多个边缘。多边形网格还可以包括多个表面。每个表面可以在多个边缘中的三个或更多个相应边缘之间。多个顶点中的顶点在空间中的位置对应于点在物理对象101的外表面上的空间位置。多个顶点、多个边缘和多个表面虚拟地(和数字地)表示扫描后的物理对象101。处理器114将物理对象101的3d模型存储在存储器116中。处理器114使物理对象101的3d模型经由一个或多个通信设备118被输出到显示器110。
29.显示器110可以是头戴式显示器(hmd)。作为头戴式显示器，显示器110可以是虚拟现实显示器或增强现实显示器。作为增强现实显示器，显示器110可以是透明或半透明的。因此，通过显示器110查看物理对象101的查看者借助于显示器110的透明特性来看到物理
对象101。使用对象的3d模型，在物理对象101通过显示器101透明可见时，显示器110可以将物理对象101的3d渲染叠加在物理对象101之上。因此，在这种实施例中，查看者看到被覆盖在物理对象101上的物理对象101的3d渲染。
30.查看者或用户可以使用输入设备112来注释、增强、细化或改变(统称为“增强”)物理对象的3d渲染。通过通常在3d渲染上绘制一条或多条曲线或者任何其他形状，用户可以使用输入设备112来增强物理对象的3d渲染。在这方面，用户可以在物理对象101的至少一部分之上在3维空间中描划输入设备或其尖端。跟踪设备113跟踪输入设备112在3维空间中的位置，并且将表示位置的数据输出到3d渲染设备108。3d渲染设备108接收表示输入设备112的位置的数据，并且基于表示输入设备112的跟踪位置的数据来生成物理对象的增强后的3d渲染。如从本文的描述了解的，物理对象的增强后的3d渲染可以包括设计和特征，这些设计和特征虚拟地出现在物理对象的表面上或者与其相关，但是在物理对象的实际3维空间中不会出现。
31.图3示出了根据实施例的输入设备112的示例。输入设备112包括外壳119、尖端120、标记122和多个控制输入124a、124b、124c。尖端120可以是压敏的。标记122可以被放置在输入设备112的尖端120上。在其他实施例中，标记122可以被放置在输入设备112上的其他地方。标记122可以是无源或有源标记，其被用于跟踪和确定尖端120的位置。例如，标记122可以是反射光的反射涂层。备选地或另外，标记122可以是发光二极管(led)，它主动照射光以跟踪输入设备112的尖端120。在各种实施例中，标记122可以是闪光灯，它发射具有指定波长或特征径迹的光。在各种实施例中，输入设备112可以是无标记的，由此输入设备的尖端120或另一部分的位置可以基于形状或其其他特性来跟踪。
32.参照回图2，在输入设备112移动通过3维空间时，跟踪设备113跟踪输入设备112或其标记122的空间位置。跟踪设备113确定标记122的空间位置，并且将表示位置的数据输出到3d渲染设备108。在至少一个实施例中，跟踪设备113可以包括一个或多个相机，诸如运动捕获相机。一个或多个相机可以捕获标记122的图像，并且基于捕获的图像来确定标记的位置，因此确定尖端120和输入设备112的位置。
33.跟踪设备113可以包括通信设备(未示出)。跟踪设备113可以通过通信设备发送信号，包括表示输入设备112的空间位置的数据。3d渲染设备108通过一个或多个通信设备118接收信号，并且将表示空间位置的数据输出到处理器114。处理器114基于接收到的位置数据来识别输入设备112或标记122的位置。此后，处理器114基于接收到的位置数据来增强物理对象的3d渲染。
34.例如，用户可以用输入设备114或其尖端120在物理对象101的外表面之上物理地描划，以绘制线或通常绘制曲线。因此，输入设备114可以被用于速写(或记录)物理对象的3d渲染。在用户在物理对象101的外表面之上描划时，跟踪设备113跟踪尖端122的空间位置，并且将表示位置的数据输出到3d渲染设备108。3d渲染设备108通过向物理对象的3d渲染添加对应曲线来增强物理对象的3d渲染。曲线可以是彼此连接并且在空间中的位置对应于由跟踪设备113检测到的尖端的位置的点集合。3d渲染设备108将曲线叠加在物理对象的3d渲染上。此后，3d渲染设备108生成物理对象的增强后的3d渲染。增强后的3d渲染包括在其上叠加有曲线的物理对象(先前生成)的3d渲染。
35.3d渲染设备108将表示物理对象的增强后的3d渲染的数据输出到显示器110。显示
器110显示物理对象的增强后的3d渲染。注意，检测输入设备112的空间位置、生成增强后的3d渲染以及向显示器110输出表示增强后的3d渲染的数据可以被实时进行。因此，在用户使用输入设备112“绘制”时(或者在用户使用输入设备112在物理对象101的外表面之上描划时)，查看显示器110的用户实时看到增强后的3d渲染中的曲线。注意，术语“曲线”在本文中被用于表示由用户使用输入设备112绘制的任何通用形状。例如，曲线可以是直线或者任何其他形状。
36.在实施例中，输入设备112的尖端120可以是压敏的。在用户操作输入设备112时，输入设备112可以感测由用户施加到尖端的压力。压力可以被用于确定由用户绘制的曲线的厚度。输入设备112可以输出表示施加到尖端120的压力的数据。输入设备112可以将压力数据输出到3d渲染设备108。如本文描述的，输入设备112可以包括通信设备(未示出)，该通信设备能操作以与3d渲染设备108的一个或多个通信设备118通信，并且能操作以输出包括表示施加到尖端120的压力的数据的信号。3d渲染设备108的一个或多个通信设备118可以接收信号，并且将表示压力的数据输出到处理器114。处理器114基于接收到的压力数据来识别压力。处理器114渲染线厚度对应于所识别的压力的曲线。压力与厚度之间的关系可以是成比例的，由此由用户施加的更大量的压力导致渲染更厚的曲线。
37.处理器114可以评估所识别的压力以及尖端120的位置。处理器114基于压力数据和位置数据来生成要被叠加在物理对象的3d渲染上的曲线。曲线在空间位置处的厚度对应于该空间位置处的施加到尖端120的所识别的压力。
38.输入设备112的多个控制输入124a至124c可以被用于控制曲线的属性。例如，第一控制输入124a可以被用于在输入设备112的操作模式之间进行选择。第一操作模式可以是本文描述的3d渲染的增强，由此一个或多个附加曲线被叠加在3d渲染上。第二操作模式可以是3d渲染的修改，并且第三操作模式可以是本文描述的距离测量。用户可以操作第一控制输入124a，它可以是多极或多路开关，以从各种可用的操作模式中选择操作模式。
39.类似地，第二控制输入124b和第三控制输入124c可以被用于选择曲线的属性，诸如制成曲线的线的颜、样式或厚度。在实施例中，第二控制输入124b可以被用于选择曲线的颜(诸如红、绿或蓝等)和/或曲线的样式(诸如实线或虚线曲线等)。在实施例中，第三控制输入124c可以被用于选择曲线的静态或恒定厚度。使用第三控制输入124c选择的厚度可以覆盖或取代基于施加到尖端120的压力确定的厚度。在实施例中，控制输入功能性可以是用户可配置的。例如，用户可以指定分别与控制输入124a至124c相关联的控制输入功能性，它与输入设备112的默认的控制输入功能性不同。
40.注意，图3的输入设备112是示例性而不是限制性的。在各种实施例中，任何其他类型的输入设备112可以被使用。输入设备112可以具有与图3所图示的不同的形状因数。在实施例中，输入设备可以是操纵杆、触摸板、压敏板或压敏轮等。进一步地，与图3所图示的相比，输入设备112可以具有更多控制输入或更少控制输入。
41.输入设备112向3d渲染设备108输出表示所选的操作模式和/或曲线属性的数据。3d渲染设备108接收表示所选的操作模式和/或曲线属性的数据，并且使用该数据以及表示尖端120的位置的数据来生成物理对象的增强后的3d渲染。例如，3d渲染设备108可以将颜施加到曲线，或者渲染曲线以具有根据接收到的属性的厚度。
42.作为增强物理对象101的3d渲染的补充或替代，3d渲染设备108可以基于使用输入
设备112提供的用户输入来细化或改变物理对象101的3d渲染。用户可以使用输入设备描划物理对象101的外表面，以细化或改变(以及提高其准确性)物理对象的3d渲染。例如，用户可以在物理对象101之上描划，以在物理对象101的外表面处或附近提供尖端120的精确位置。尖端120的位置然后被用于改变物理对象101的3d渲染，并且提高物理对象101的3d渲染的准确性。
43.在用户利用输入设备112描划物理对象101的外表面时，跟踪设备113跟踪尖端的位置。跟踪设备113将表示尖端120的空间位置的数据输出到3d渲染设备108。该位置可以是在3维空间的笛卡尔坐标系中表示为三个坐标(例如(x,y,z))或者在极坐标系中关于参考点(或原点)表示为三个坐标(例如径向距离、极角和方位角)的空间位置。与被用于生成物理对象的3维模型的3d扫描仪102相比，输入设备112的位置跟踪可以具有更精确的空间分辨率，如上面关于图1和2描述的。3d渲染设备108接收表示输入设备112的尖端120的跟踪位置的数据，并且使用跟踪的位置数据，调整或改变提供物理对象的3d渲染的3d模型。
44.如本文描述的，物理对象的3d渲染可以包括多个顶点，由此每对顶点由多个边缘中的边缘连接。3d渲染设备108可以将从跟踪设备113接收到的尖端120的位置设置为多个顶点中的顶点。因此，物理对象的3d渲染基于从跟踪设备113接收到的数据位置来调整。此外，3d渲染设备108可以移除3d渲染的现有顶点，并且用输入设备112的接收位置处的顶点替代移除的顶点。移除的顶点可以是其欧几里得空间位置最接近输入设备112的接收位置的顶点。3d渲染设备108可以移除顶点，并且用其位置对应于(或与其相同)从跟踪设备113接收的尖端120的空间位置的新顶点来替代。因此，在输入设备112描划物理对象的表面位置时，3d渲染设备108使用输入设备112的跟踪的位置数据来迭代地改进物理对象的3d渲染。基于对物理对象的3d模型进行的调整，3d渲染设备108生成物理对象101的更新后的3d渲染，并且将表示更新后的3d渲染的数据输出到显示器110。
45.因此，3d渲染设备108最初基于表示由3d扫描仪102输出的扫描的物理对象101的数据来生成物理对象101的3d模型。然后，在输入设备112描划物理对象的表面位置时，3d渲染设备108基于表示输入设备112或其尖端120的位置的数据来细化3d模型。因此，3d渲染设备108递增地改进物理对象的3d渲染。
46.在实施例中，系统106可以被用于测量空间距离。可以是欧几里得距离的该距离可以位于空间中的任何地方。例如，该距离可以在物理对象101的外表面上的两个点之间。为了测量距离，用户可以将输入设备112的尖端120放置在第一点处，并且沿着物理对象的表面将尖端120移动到与第一点不同的第二点。
47.当尖端120位于第一点处时，跟踪设备113识别尖端的第一空间位置，并且将第一位置数据输出到3d渲染设备108。3d渲染设备108将第一位置数据存储在存储器116中。用户然后沿着物理对象的表面将输入设备112的尖端120移动到第二点。跟踪设备113识别与空间中的第二点相关联的第二位置。跟踪设备103将第二位置输出到3d渲染设备108。在接收到第一位置和第二位置之后，3d渲染设备108确定第一位置与第二位置之间的欧几里得距离。3d渲染设备108然后将指示距离的数据输出到显示器110，以被显示给用户或者向用户输出距离的任何其他设备。
48.注意，在各种实施例中，距离可以是两个点(诸如第一点和第二点)之间的线性距离。另外或备选地，距离可以是由输入设备112的尖端120描划的弧线或曲线的长度。在用户
描划曲线时，跟踪设备113实时确定尖端120的空间位置，并且将表示位置的数据输出到3d渲染设备108。认识到，用户缓慢地描划曲线或弧线可能是有利的，以允许跟踪设备113关于彼此以小距离增量以及更大的粒度来确定尖端120的各种位置。以较小增量识别尖端120的位移导致确定曲线长度的准确性提高。
49.注意，在各种实施例中，跟踪设备113可以是3d扫描仪102的一部分，或者跟踪设备113可以被省掉，并且3d扫描仪102可以进行由跟踪设备113进行的跟踪功能。因此，3d扫描仪102可以跟踪输入设备112的空间位置，并且将表示跟踪位置的数据输出到3d渲染设备108。跟踪设备113可以是由外而内的跟踪设备，其中在输入设备在相机或其他传感器的视觉范围内移动时，在固定地点处并且朝着输入设备112定向的相机或其他传感器跟踪输入设备的移动。此外，跟踪设备113可以是头戴式显示器或3d渲染设备108的一部分，或者被包括在其中。备选地或另外，显示器110可以包括由内而外的跟踪，由此显示器110可以包括相机，该相机“向外看”或者观察外部周围环境或空间，以确定显示器110或输入设备112关于环境或空间的位置。
50.图4示出了用于增强对象的3d渲染的方法400的流程图。在方法400中，3d扫描仪(诸如参照图1描述的3d扫描仪102)在402中扫描物理对象的外表面。在404中，3d渲染设备(诸如参照图2描述的3d渲染设备108)基于从在402中扫描外表面而产生的数据来生成对象的3d模型。对象的3d模型可以包括从对象的外表面的3d扫描确定的多个顶点、多个边缘和多个表面。
51.在406中，显示器(诸如参照图2描述的显示器110)基于生成的3d模型来显示物理对象的3d渲染。显示器可以是虚拟现实(vr)或增强现实(ar)显示器。物理对象可以通过显示器透明可见。显示器可以将3d渲染叠加在物理对象之上，该物理对象是另外通过显示器可见的。在408中，在输入设备在对象的外表面的至少一个部分之上物理地描划时，跟踪设备(诸如参照图2描述的跟踪设备113)跟踪输入设备的定位。在410中，在输入设备在对象的外表面之上描划时，跟踪设备识别输入设备的至少一个空间位置。
52.在412中，3d渲染设备至少部分地基于输入设备的一个或多个跟踪位置来增强对象的3d渲染。用户可以在物理对象的外表面的一部分之上物理地描划输入设备，以绘制曲线或任何形状。在用户在物理对象的外表面之上物理地描划输入设备时，跟踪设备跟踪输入设备。表示输入设备的空间位置的数据被提供给3d渲染设备，该3d渲染设备使用数据来确定曲线的形状以及曲线关于对象的3d渲染的位置。3d渲染设备增强3d渲染，以包括曲线的渲染。显示器在414中显示对象的增强后的3d渲染。
53.图5示出了用于基于输入设备的跟踪位置来修改对象的3d渲染的方法500的流程图。方法500的步骤502、504、506、508和510类似于参照图4描述的方法400的步骤402、404、406、408和410。方法500包括在502中扫描物理对象的外表面，在504中基于外表面的扫描来生成对象的3d模型，并且在506中基于生成的3d模型来显示对象的3d渲染。方法500还包括在输入设备在对象的外表面的至少一个部分之上物理地描划时在508中跟踪输入设备的定位，并且在输入设备在对象的外表面之上描划时在510中识别输入设备的至少一个空间位置。
54.用户可以在物理对象的表面之上物理地描划输入设备，以提供物理对象的表面的更精确的物理坐标。通过在输入设备正在被跟踪时在物理对象的表面之上描划输入设备或
将输入设备定位在物理对象的表面处，用户有效地提供表面的定位(或坐标)。反映表面定位的更精确的数据可以被用于修改和加强物理对象的3d渲染(例如在对象的3d扫描不准确的情况下)。
55.因此，与增强3d渲染相反，方法500进行到在512中由3d渲染设备至少部分地基于输入设备的一个或多个跟踪位置来修改对象的3d模型。输入设备的跟踪的空间位置被用于细化或加强对象的3d模型的准确性，而不是增强或添加到3d渲染。如本文描述的，输入设备的位置可以被包括为对象的修改后的3d模型中的顶点。在修改对象的3d模型之后，显示器在514中基于对象的修改后的3d模型来显示对象的更新后的3d渲染。
56.图6示出了用于基于输入设备的一个或多个跟踪位置的距离测量的方法600的流程图。在方法600中，在输入设备在物理对象的外表面的至少一个部分之上描划时，跟踪设备在602中跟踪输入设备的空间定位。用户可以在物理对象的外表面之上描划，以沿着物理对象的外表面测量两个点或位置之间的距离。在输入设备在对象之上描划时，跟踪设备在604中识别输入设备的至少两个位置。
57.3d渲染设备在606中确定至少两个位置之间的距离。距离可以是至少两个位置之间的欧几里得距离。距离可以是沿着直线的线性距离或者沿着由输入设备穿过的曲线的距离。在输入设备穿过曲线时，由输入设备穿过的曲线可以近似于在输入设备的多个感测位置之间延伸的多个短线分段。沿着曲线的距离可以通过对短线分段的各个距离求和来确定。3d渲染设备在608中输出表示距离的数据，该数据可以被显示在显示器上。
58.上述各种实施例可以被组合，以提供其他实施例。鉴于上面详述的描述，这些和其他改变可以对实施例进行。通常，在以下权利要求中，所使用的术语不应被解释为将权利要求限于本说明书和权利要求中公开的具体实施例，而是应被解释为包括所有可能的实施例以及这种权利要求被赋予的等效物的全部范围。因此，权利要求不受本公开的限制。

技术特征：

1.一种系统，包括：三维(3d)扫描仪，所述3d扫描仪被配置为扫描物理对象的外表面，并且输出表示所述对象的所述外表面的数据；处理器，所述处理器被配置为接收表示所述对象的所述外表面的所述数据，并且基于接收到的所述数据来生成所述对象的3d模型，并且基于生成的所述3d模型来输出所述对象的3d渲染；显示器，所述显示器被配置为接收所述对象的所述3d渲染，并且显示所述对象的所述3d渲染；输入设备，所述输入设备能操作以在所述对象的所述外表面的至少一个部分之上物理地描划；以及跟踪设备，所述跟踪设备被配置为在所述输入设备在所述对象的所述外表面的所述至少一个部分之上物理地描划时，跟踪所述输入设备的定位，并且在所述输入设备在所述对象之上描划时，输出表示所述输入设备的至少一个空间位置的数据，其中：所述处理器被配置为接收表示所述输入设备的所述至少一个空间位置的所述数据，至少部分地基于表示所述输入设备的所述至少一个空间位置的所述数据来增强所述对象的所述3d渲染，并且响应于增强所述对象的所述3d渲染，将所述对象的增强后的所述3d渲染输出到所述显示器，并且所述显示器被配置为显示所述对象的增强后的所述3d渲染。2.根据权利要求1所述的系统，其中，所述处理器被配置为通过至少以下来增强所述对象的所述3d渲染：基于表示所述输入设备的所述至少一个空间位置的所述数据，识别具有相对于所述对象的所述外表面的空间中的一个或多个相应的位置的一条或多条曲线；并且分别在一个或多个渲染位置处，将所述一条或多条曲线叠加在所述对象的所述3d渲染上，所述一个或多个渲染位置与相对于所述对象的所述外表面的空间中的所述一个或多个位置相对应。3.根据权利要求2所述的系统，其中，所述输入设备是压敏的，并且被配置为在所述输入设备在所述对象的所述外表面的所述至少一个部分之上物理地描划时，感测施加到所述输入设备的压力，并且输出表示所述压力的数据，并且其中，所述处理器被配置为：在所述输入设备在所述对象的所述外表面的所述至少一个部分之上物理地描划以形成所述一条或多条曲线时，至少部分地基于施加到所述输入设备的所述压力来确定所述一条或多条曲线的相应的一个或多个宽度；并且将具有所述相应的一个或多个宽度的所述一条或多条曲线叠加在所述对象的所述3d渲染上。4.根据权利要求3所述的系统，其中，所述输入设备包括压敏尖端，所述压敏尖端能操作以在所述输入设备在所述对象的所述外表面的所述至少一个部分之上物理地描划时，感测施加到所述输入设备的所述压力。5.根据权利要求2所述的系统，其中，所述输入设备包括第一控制输入，所述第一控制输入可操作以接收所述一条或多条曲线的一个或多个相应的宽度指示，并且其中，所述输
入设备被配置为将表示一个或多个相应的宽度指示的数据输出到所述处理器，并且所述处理器被配置为：接收表示一个或多个相应的宽度指示的所述数据；基于表示一个或多个相应的宽度指示的所述数据来确定所述一条或多条曲线的相应的一个或多个宽度；并且将具有所述相应的一个或多个宽度的所述一条或多条曲线叠加在所述对象的所述3d渲染上。6.根据权利要求1所述的系统，其中，所述显示器是头戴式显示器，所述头戴式显示器被配置为显示所述对象的所述3d渲染，所述对象的所述3d渲染被叠加在另外通过所述头戴式显示器视觉可见的所述物理对象上。7.一种系统，包括：三维(3d)扫描仪，所述3d扫描仪被配置为扫描物理对象的外表面，并且输出表示所述对象的所述外表面的数据；处理器，所述处理器被配置为接收表示所述对象的所述外表面的所述数据，基于接收到的所述数据来生成所述对象的3d模型，并且基于生成的所述3d模型来输出所述对象的3d渲染；显示器，所述显示器被配置为接收所述对象的所述3d渲染，并且显示所述对象的所述3d渲染；输入设备，所述输入设备能操作以在所述对象的所述外表面的至少一个部分之上物理地描划；以及跟踪设备，所述跟踪设备被配置为在所述输入设备在所述对象的所述外表面的所述至少一个部分之上描划时，跟踪所述输入设备的定位，并且在所述输入设备在所述对象的所述外表面之上描划时，输出表示3d空间中所述输入设备的至少一个位置的数据，其中：所述处理器被配置为接收表示所述输入设备的所述至少一个位置的所述数据，至少部分地基于表示所述输入设备的所述至少一个位置的所述数据来修改所述对象的所述3d模型，基于修改后的所述3d模型来生成所述对象的更新后的3d渲染，并且响应于生成所述对象的更新后的所述3d渲染，将所述对象的更新后的所述3d渲染输出到所述显示器，并且所述显示器被配置为显示所述对象的更新后的所述3d渲染。8.根据权利要求7所述的系统，其中，所述处理器被配置为通过生成包括多个顶点和多个边缘的多边形网格来生成所述对象的所述3d模型。9.根据权利要求8所述的系统，其中，所述处理器被配置为通过至少以下来修改所述对象的所述3d模型：改变所述多个边缘中的边缘或者所述多个顶点中的顶点的位置，以对应于3d空间中所述输入设备的所述至少一个位置。10.根据权利要求8所述的系统，其中，所述处理器被配置为通过至少以下来修改所述对象的所述3d模型：向所述多个顶点添加第一顶点，所述第一顶点在空间中具有的位置与3d空间中所述输入设备的所述至少一个位置相对应。11.根据权利要求10所述的系统，其中，所述处理器被配置为通过至少以下来修改所述
对象的所述3d模型：从所述多个顶点移除第二顶点，所述第二顶点具有的位置在3d空间中最接近所述第一顶点的所述位置。12.根据权利要求7所述的系统，其中，所述显示器是头戴式显示器，所述头戴式显示器被配置为显示所述对象的所述3d渲染，所述对象的所述3d渲染被叠加在另外通过所述头戴式显示器视觉可见的所述物理对象上，并且还被配置为显示所述对象的更新后的所述3d渲染，所述对象的更新后的所述3d渲染被叠加在另外通过所述头戴式显示器视觉可见的所述物理对象上。13.一种系统，包括：三维(3d)扫描仪，所述3d扫描仪被配置为扫描物理对象的外表面，并且输出表示所述对象的所述外表面的数据；处理器，所述处理器被配置为接收表示所述对象的所述外表面的所述数据，并且基于接收到的所述数据来生成所述对象的3d模型，并且基于生成的所述3d模型来输出所述对象的3d渲染；显示器，所述显示器被配置为接收所述对象的所述3d渲染，并且显示所述对象的所述3d渲染；输入设备，所述输入设备能操作以在所述对象的所述外表面的至少一个部分之上物理地描划；以及跟踪设备，所述跟踪设备被配置为在所述输入设备在所述对象的所述外表面的所述至少一个部分之上描划时，跟踪所述输入设备的定位，并且在所述输入设备在所述对象之上描划时，输出表示所述输入设备的至少两个位置的数据，其中：所述处理器被配置为接收表示所述至少两个位置的所述数据，确定所述至少两个位置之间的距离，并且输出表示所述距离的数据。14.根据权利要求13所述的系统，其中，所述处理器被配置为基于表示所述至少两个位置之间的所述输入设备的位置的数据来识别曲线，并且沿着识别的所述曲线确定所述至少两个位置之间的所述距离。15.根据权利要求13所述的系统，其中，所述显示器被配置为：接收表示所述距离的所述数据，并且在所述显示器上显示所述距离。16.根据权利要求13所述的系统，其中，所述输入设备包括控制输入，所述控制输入可操作以接收对所述输入设备的多种操作模式中的第一操作模式的选择，并且输出指示所述第一操作模式的数据。17.根据权利要求16所述的系统，其中，所述处理器被配置为：接收指示所述第一操作模式的所述数据，并且响应于接收到指示所述第一操作模式的所述数据，确定所述至少两个位置之间的所述距离，并且输出表示所述距离的所述数据。18.根据权利要求16所述的系统，其中，所述输入设备经由所述控制输入接收对所述输入设备的所述多种操作模式中的第二操作模式的选择，并且输出指示所述第二操作模式的数据。
19.根据权利要求18所述的系统，其中，所述处理器被配置为：接收指示所述第二操作模式的所述数据，并且响应于接收到指示所述第二操作模式的所述数据，在所述输入设备在所述对象的所述外表面的至少一个部分之上描划时，基于从跟踪所述输入设备的所述跟踪设备接收到的定位信息来增强所述对象的所述3d渲染。20.根据权利要求18所述的系统，其中，所述处理器被配置为：接收指示所述第二操作模式的所述数据，并且响应于接收到指示所述第二操作模式的所述数据，在所述输入设备在所述对象的所述外表面的至少一个部分之上描划时，基于从跟踪所述输入设备的所述跟踪设备接收到的定位信息来修改所述对象的所述3d模型，并且基于修改后的所述3d模型来生成所述对象的更新后的3d渲染。

技术总结

提供了一种用于三维(3D)表面速写的方法和系统。3D扫描仪扫描物理对象的外表面，并且输出表示外表面的数据。处理器基于接收到的数据来生成对象的3D模型，并且输出对象的3D渲染。显示器显示对象的3D渲染。输入设备在对象的外表面的一部分之上物理地描划，并且在输入设备在对象的外表面的一部分之上物理地描划时，跟踪设备跟踪输入设备的定位。处理器接收表示输入设备的至少一个空间位置的数据，至少部分地基于数据来增强对象的3D渲染，并且将增强后的3D渲染输出到显示器。强后的3D渲染输出到显示器。强后的3D渲染输出到显示器。