一种智能图像捕获方法、系统、装置以及存储介质与流程

阅读：评论：0

1.本说明书涉及图像捕获领域，特别涉及一种智能图像捕获方法、系统、装置以及存储介质。

背景技术：

2.现有的增强现实眼镜、智能眼镜等在进行图像采集时，一般需要用户主动触发，即只有接收到用户输入的拍照或录像的指令时，才可以执行相应的图像采集操作。当用户的场景变化较快、或用户不方便主动触发眼镜进行图像采集时，就会导致用户由于无法发出图像采集指令，而使得眼镜无法及时捕捉到用户感兴趣的内容。
3.因此，希望可以提供一种智能图像捕获方法和系统，用于提高画面捕获效率以及提升用户体验。

技术实现要素：

4.本说明书实施例之一提供一种智能图像捕获方法，所述方法包括：获取目标用户在目标时间段内的注视点序列，注视点序列包括目标用户在目标时间段内多个时间点的注视点；基于注视点序列，确定是否需要捕获画面；当需要捕获画面时，确定捕获画面的目标方式；以及基于目标方式进行画面捕获。
5.本说明书实施例之一提供一种智能图像捕获系统，所述系统包括：获取模块，用于获取目标用户在目标时间段内的注视点序列，注视点序列包括目标用户在目标时间段内多个时间点的注视点；第一确定模块，用于基于注视点序列，确定是否需要捕获画面；第二确定模块，用于当需要捕获画面时，确定捕获画面的目标方式；以及处理模块，用于基于目标方式进行画面捕获。
6.本说明书实施例之一提供一种智能图像捕获装置，包括至少一个处理器以及至少一个存储器，至少一个存储器用于存储计算机指令；至少一个处理器用于执行计算机指令中的至少部分指令以实现如上述实施例中任一项所述智能图像捕获方法。
7.本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如上述实施例中任一项所述智能图像捕获方法。
附图说明
8.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
9.图1是根据本说明书一些实施例所示的智能图像捕获系统的应用场景示意图；
10.图2是根据本说明书一些实施例所示的智能图像捕获系统的示例性模块图；
11.图3是根据本说明书一些实施例所示的智能图像捕获方法的示例性流程图；
12.图4是根据本说明书一些实施例所示的确定捕获画面的目标方式的示例性流程图；
13.图5a是根据本说明书一些实施例所示的基于环境画面平稳值确定捕获画面的目标方式的示例性流程图；
14.图5b是根据本说明书一些实施例所示的对当前画面和参考图像添加标签的示例性示意图。
具体实施方式
15.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
16.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
17.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
18.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
19.图1是根据本说明书一些实施例所示的智能图像捕获系统的应用场景示意图。智能图像捕获系统100可以通过实施本说明书中披露的方法和/或过程来进行智能图像捕获。
20.如图1所示，智能图像捕获系统的应用场景100可以包括目标终端110、用户120、处理设备130、存储器140、网络150以及终端160。智能图像捕获系统可以通过实施本说明书中披露的方法和/或过程以基于用户120佩戴目标终端110在目标时间段内的注视点序列，确定是否需要捕获画面。
21.在一些实施例中，目标终端110可以与网络150以及处理设备130通信连接。例如，目标终端110可以通过网络150传递用户120的注视点序列信息。在一些实施例中，目标终端110可以通过网络150与智能图像捕获系统的其他组件通信连接，例如，目标终端110可以通过网络150与存储器140通信连接。目标终端110可以包括智能眼镜、可穿戴头盔等设备。可以理解的是，目标终端110可以被称为用户终端、图像捕获终端等。
22.用户120可以是智能图像捕获的请求者。在一些实施例中，用户120可以通过终端设备160与目标终端110通信。例如，用户120可以通过终端设备160(如手机)确定捕获画面的目标方式。
23.处理设备130可以处理从其他设备或系统组成部分中获得的数据和/或信息。处理
设备130可以基于这些数据、信息和/或处理结果执行程序指令，以执行一个或多个本说明书中描述的功能。在一些实施例中，处理设备130可以包含一个或多个子处理设备(例如，单核处理设备或多核多芯处理设备)。仅作为示例，处理设备130可以包括中央处理器(cpu)、专用集成电路(asic)等或以上任意组合。
24.存储器140可以是用于存储数据、指令和/或任何其他信息的存储设备。在一些实施例中，存储器140可以存储从目标终端110、用户120等处获得的数据和/或信息。例如，存储器140可以存储目标用户在目标时间段内多个时间点的注视点等。在一些实施例中，存储器140可以设置在目标终端110或处理设备130中。在一些实施例中，存储器140可包括大容量存储器、可移除存储器等或其任意组合。
25.网络150可以连接应用场景100的各组成部分和/或连接系统与外部资源部分。网络150使得各组成部分之间，以及与系统之外其他部分之间可以进行通讯，促进数据和/或信息的交换。在一些实施例中，网络150可以是有线网络或无线网络中的任意一种或多种。例如，网络120可以包括电缆网络、光纤网络等或其任意组合。各部分之间的网络连接可以是采用上述一种方式，也可以是采取多种方式。在一些实施例中，网络可以是点对点的、共享的、中心式的等各种拓扑结构或者多种拓扑结构的组合。在一些实施例中，网络150可以包括一个或以上网络接入点。在一些实施例中，可以通过网络150传递注视点序列、目标方式等数据。
26.终端160可以是本说明书一些实施例提供的智能图像捕获系统的执行主体。终端160可以指用户所使用的一个或多个终端设备或软件。在一些实施例中，终端160可以是移动设备160-1、平板计算机160-2、笔记本电脑160-3等或其任意组合。在一些实施例中，终端160可以通过网络150与智能图像捕获系统中的其他组件交互。例如，终端160可以收到用户120对目标终端110下达的捕获指令，并将捕获指令转发目标终端110。
27.图2是根据本说明书一些实施例所示的智能图像捕获系统的示例性模块图。
28.如图2所示，在一些实施例中，智能图像捕获系统200可以包括获取模块210、第一确定模块220、第二确定模块230、处理模块240。在一些实施例中，智能图像捕获系统200中的一个或以上模块可以相互连接，连接可以是无线的或有线的。
29.在一些实施例中，获取模块210可以用于获取目标用户在目标时间段内的注视点序列，注视点序列包括目标用户在目标时间段内多个时间点的注视点。关于注视点序列的更多内容可以参见图3及其相关描述。
30.在一些实施例中，第一确定模块220可以用于基于注视点序列，确定是否需要捕获画面。在一些实施例中，第一确定模块220可以进一步用于基于注视点序列，确定目标用户在目标时间段内的注视点平稳值，注视点平稳值表征目标用户的注视点在多个时间点的位移幅度；当注视点平稳值满足第一预设条件时，确定需要捕获画面；当注视点平稳值不满足第一预设条件时，确定不需要捕获画面。关于确定是否需要捕获画面的更多内容可以参见图3及其相关描述。
31.在一些实施例中，第二确定模块230可以用于当需要捕获画面时，确定捕获画面的目标方式。在一些实施例中，第二确定模块230可以进一步用于获取注视点序列对应的环境画面序列，环境画面序列包括目标用户在多个时间点的注视点范围的环境画面；基于环境画面序列，确定环境画面平稳值，环境画面平稳值表征环境画面在多个时间点的变化幅度；
基于环境画面平稳值，确定捕获画面的目标方式。第二确定模块230可以进一步用于获取环境画面的参考图像集，参考图像集包括至少一张带有标签的参考图像；获取目标用户的注视点范围的当前画面；确定参考图像集中每一参考图像与当前画面之间的相似度；基于每一参考图像与当前画面之间的相似度，确定目标参考图像；基于倾向预设参数、目标参考图像与当前画面之间的相似度以及目标参考图像的标签，确定当前画面的倾向因子；以及基于倾向因子和环境画面平稳值，确定捕获画面的目标方式。关于确定捕获画面的目标方式的更多内容可以参见图4、图5a及其相关描述。
32.在一些实施例中，处理模块240可以用于基于目标方式进行画面捕获。关于基于目标方式进行画面捕获的更多内容可以参见图3及其相关描述。
33.应当理解，图2所示的系统及其模块可以利用各种方式来实现。
34.需要注意的是，以上对于智能图像捕获系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的获取模块210、第一确定模块220、第二确定模块230、处理模块240可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
35.图3是根据本说明书一些实施例所示的智能图像捕获方法的示例性流程图。如图3所示，流程300包括下述步骤。在一些实施例中，流程300可以由目标终端执行。
36.目标终端可以是智能图像捕获方法的执行主体。例如，目标终端可以是虚拟现实/增强现实眼镜、智能眼镜、智能头盔等可穿戴设备。目标终端可以包括具有图像捕获功能的传感器。例如，目标终端可以包括摄像头等组件。
37.步骤310，获取目标用户在目标时间段内的注视点序列，注视点序列包括目标对象在目标时间段内多个时间点的注视点。
38.目标用户是指使用、佩戴目标终端的人员，例如，目标用户可以是智能眼镜调试人员、智能眼镜展示人员等。
39.目标时间段是指使用智能眼镜的某一时间段，例如，目标时间段可以是使用智能眼镜的第三分钟至第七分钟，目标时间段的长度为四分钟等。在一些实施例中，目标时间段的长度可以预先设置。例如，可以预先设置目标时间段的长度为四分钟。
40.在一些实施例中，目标时间段的长度可以与智能眼镜的当前剩余容量相关。例如，目标时间段的长度可以智能眼镜的当前剩余容量呈正相关，目标时间段的长度可以基于智能眼镜的当前剩余容量，通过预设规则确定。
41.目标终端的当前剩余容量是指目标终端在当前时刻内存的剩余容量，例如，目标终端内可以包括随机存储器，当前剩余容量可以是随机存储器的剩余容量。当前剩余容量可以是20kb、300mb、30gb等。当前剩余容量越大，目标时间段的长度可以越长。
42.注视点是指目标用户在视知觉过程中瞳孔对准的点。例如，视线对准对象1的点位于桌子的桌面上，则注视点1的目标用户为桌子；视线对准对象2的点位于书本的表面，则注视点2的目标用户为书本。在一些实施例中，注视点可以通过二维坐标、三维坐标等表示。
43.注视点序列是指目标用户在一段时间内连续多个注视点所构成的注视轨迹。在一
些实施例中，注视点序列包括目标用户在目标时间段内多个时间点的注视点。例如，目标用户在02：00～02:30的注视点为桌子、餐盘、刀叉；目标用户在04：00～04:10的注视点为玻璃杯、红酒、红酒标签等。
44.在一些实施例中，目标终端可以基于图像识别定位，获取用户的注视点序列和注视点对应的时间。例如，通过眼动追踪、瞳孔捕捉等技术，获取用户的注视点序列。在一些实施例中，目标终端可以每隔一段时间获取一次注视点，将多个时间-注视点信息以时间轴排列，形成注视点序列。例如，目标终端可以每隔0.1微秒获取一次注视点，将04:00～04:10时间段内获取的所有注视点按时间先后顺序排列，形成04:00～04:10时间段的注视点序列。
45.步骤320，基于注视点序列，确定是否需要捕获画面。
46.捕获画面是指从智能眼镜显示上撷取全部或者部分区域作为图像的过程。其中，捕获画面可以包括捕获静态画面和捕获动态画面情况，例如，捕获静态画面可以是截屏、截图，通过捕获静态画面可以得到图像，捕获动态画面可以是录屏等，通过捕获动态画面可以得到视频。
47.在一些实施例中，目标终端可以基于注视点序列，通过机器学习模型、预设关系等，确定是否需要捕获画面。
48.在一些实施例中，目标终端可以基于注视点序列，确定目标用户在目标时间段内的注视点平稳值。其中，注视点平稳值表征目标用户的注视点在多个时间点的位移幅度。
49.注视点平稳值是指反映目标用户注视点稳定程度的相关数值，例如，注视点平稳值可以是0～1之间的数值，如0.8。在一些实施例中，注视点平稳值可以与注视点的停留时间、注视点的位移幅度有关。例如，注视点的停留时间越长，注视点平稳值越大；注视点的位移幅度越小，注视点平稳值越大。其中，注视点平稳值越大表示注视点越稳定，用户较长时间注视某一对象的可能性越高。
50.在一些实施例中，可以基于目标用户的注视点序列，计算注视点序列的方差，确定注视点平稳值。例如，基于眼动追踪和判断头部是否转动等定位的方式，判断目标用户状态，获取注视点序列，其中每个注视点可以作为一个三维坐标向量，通过计算注视点向量序列的方差，确定注视点平稳值。
51.在一些实施例中，当注视点平稳值满足第一预设条件时，确定需要捕获画面；当注视点平稳值不满足第一预设条件时，确定不需要捕获画面。
52.第一预设条件是指捕获画面需要满足的预先设置的条件。在一些实施例中，第一预设条件可以是注视点平稳值大于注视点平稳值阈值。例如，第一预设条件可以是注视点平稳值大于0.6。第一预设条件可以基于人工设置确定。
53.在一些实施例中，注视点平稳值阈值的大小相关于智能眼镜的当前剩余容量。例如，当智能眼镜的当前剩余容量较小时，为了节约容量，平稳值阈值可以设置越大；再例如，当智能眼镜的当前剩余容量越大时，为了增加执行动作的可能性，平稳值阈值可以设置越小。示例性的，注视点平稳值阈值＝k/c。其中，k为第一预设参数，c为智能眼镜的当前剩余容量。第一预设参数可以基于人工设置确定。
54.本说明书一些实施例通过注视点序列，确定目标用户在目标时间段内的注视点平稳值；通过判断注视点平稳值是否满足第一预设条件，确定是否需要捕获画面，可以减少目标用户对智能眼镜的操作，及时有效的对用户感兴趣的内容进行捕捉；另外，图像捕获在用
户和智能眼镜足够稳定的情况下才会进行，避免在用户因剧烈运动、智能眼镜佩戴不合适等情况下捕获模糊、无效的图像。
55.步骤330，当需要捕获画面时，确定捕获画面的目标方式。
56.目标方式是指捕获画面的相关方式，例如，目标方式可以是拍摄图像、拍摄视频等方式。
57.在一些实施例中，目标方式可以基于人工设置确定，或由目标终端基于预设关系智能判断确定。
58.在一些实施例中，目标终端可以基于注视点序列，确定捕获画面的目标方式。例如，可以基于注视点序列对应的环境画面变化幅度，确定捕获画面的目标方式。关于确定目标方式更多内容参见图4及其相关描述。
59.步骤340，基于目标方式进行画面捕获。
60.在一些实施例中，目标终端基于选定的目标方式进行画面捕获。例如，基于目标终端的摄像头进行图像、视频捕获。
61.本说明书一些实施例通过获取目标用户在目标时间段内的注视点序列，确定是否需要捕获画面；判断当需要捕获画面时，确定捕获画面的目标方式，根据目标用户的注视点序列，有效对目标用户感兴趣的内容进行捕捉，提高画面捕获效率，显著提升用户体验。
62.图4是根据本说明书一些实施例所示的确定捕获画面的目标方式的示例性流程图。如图4所示，流程400包括下述步骤。在一些实施例中，流程400可以由目标终端执行。
63.步骤410，获取注视点序列对应的环境画面序列，环境画面序列包括目标用户在多个时间点的注视点范围的环境画面。
64.环境画面是指目标用户的注视点对应的周围环境的画面，例如，当前用户通过智能眼镜看到的画面、智能眼镜能拍摄的到的画面等。环境画面序列是指目标用户的注视点序列对应的周围环境的画面轨迹。环境画面序列包括目标用户在多个时间点的注视点范围的环境画面。例如，目标用户在02：00～04:00的注视点范围的环境画面为走廊；目标用户在04：00～06:00的注视点范围的环境画面为教室等。
65.在一些实施例中，目标终端可以基于图像识别自动定位，获取注视点序列对应的环境画面序列和环境画面对应的时间。例如，通过眼动追踪、瞳孔捕捉等技术，获取环境画面序列。目标终端可以每隔一段时间获取一次环境画面，将多个时间-环境画面信息以时间轴排列，形成环境画面序列。例如，目标终端可以每隔0.1微秒获取一次环境画面，将06:00～06:10时间段内获取的所有环境画面按时间先后顺序排列，形成06:00～06:10时间段的环境画面序列。
66.步骤420，基于环境画面序列，确定环境画面平稳值，环境画面平稳值表征多个时间点的环境画面的变化幅度。
67.环境画面平稳值是指反映环境画面稳定程度的相关数值，例如，环境画面平稳值可以是0～1之间的数值，如0.8。在一些实施例中，环境画面平稳值与环境画面的停留时间、环境画面的变化幅度有关。例如，环境画面的停留时间越长，环境画面平稳值越大；环境画面的变化幅度越小，环境画面平稳值越大。其中，环境画面平稳值越大表示环境画面越平稳。
68.在一些实施例中，环境画面平稳值表征环境画面在多个时间点的变化幅度。
69.在一些实施例中，可以基于环境画面序列，确定环境画面平稳值。例如，目标终端可以基于环境画面序列，计算环境画面序列的方差，确定环境画面平稳值。其中，计算环境画面序列的方差可以是计算环境画面序列对应的图像特征向量序列的方差。图像特征向量可以是反映环境画面特征的向量，图像特征向量的元素可以包括注视点坐标、图像画面的分辨率、灰度值、像素点的像素值等，多个图像特征向量构成图像特征向量序列。在一些实施例中，可以将环境画面序列通过图像特征提取层获得图像特征及图像特征向量。示例性的，图像特征提取层可以是神经网络模型，其输入可以是环境画面序列，输出可以是图像特征向量序列以及对应的图像特征。图像特征提取层可以通过历史环境画面训练得到，其中，历史环境画面对应的图像特征向量以及图像特征为训练标签，标签可以通过人工设置确定。
70.步骤430，基于环境画面平稳值，确定捕获画面的目标方式。
71.在一些实施例中，当环境画面平稳值满足第二预设条件时，可以将目标方式确定为通过拍摄图像捕获画面；当环境画面平稳值不满足第二预设条件时，可以将目标方式确定为通过拍摄视频捕获画面。在一些实施例中，目标方式还可以通过图5a所述的流程确定，具体说明参见图5a及其相关描述。
72.第二预设条件是指判断目标方式的类型而预先设置的条件，例如，第二预设条件可以是环境画面平稳值大于数值b，如数值b可以为0.8。第二预设条件可以基于人工设置确定。
73.在一些实施例中，第二预设条件包括环境画面平稳值大于环境画面平稳值阈值。
74.环境画面平稳值阈值是指判断环境画面是否平稳的临界值，例如，环境画面平稳值阈值可以设置为0.5。
75.在一些实施例中，环境画面平稳值阈值的大小相关于目标终端的当前剩余容量。例如，当智能眼镜的当前剩余容量越小时，为了增加执行拍照动作的可能性，环境画面平稳值阈值可以设置越小；再例如，当智能眼镜的当前剩余容量越大时，为了增加执行摄影动作的可能性，环境画面平稳值阈值可以设置越大。应当理解的是，当智能眼镜的当前剩余容量越小时，剩余容量应当存储信息价值较高(能够提供更多信息)的图像，因此提高环境画面平稳值阈值以提升存储图像的门槛；当智能眼镜的当前剩余容量越大时，剩余容量可以存储更多的图像，以满足图像的多样性与多种可能性，因此降低环境画面平稳值阈值以获取更多的图像。示例性的，环境画面平稳值阈值＝m*c。其中，m为第二预设参数，c为智能眼镜的当前剩余容量。第二预设参数可以基于人工设置确定。
76.在一些实施例中，环境画面平稳值阈值的大小还可以相关于注视点平稳值。例如，当注视点平稳值越大时，为了增加执行拍照动作的可能性，环境画面平稳值阈值可以设置越小。可以理解的，当用户注视点平稳值越大时，说明用户更可能盯着静止的画面在看，更倾向于拍照，环境画面平稳值阈值可以设置越小。示例性的，环境画面平稳值阈值＝k1*c-k2*f；其中，k1、k2为第二预设参数和第三预设参数，c为当前剩余容量，f为注视点平稳值。第二预设参数和第三预设参数可以基于人工设置确定。
77.本说明书一些实施例通过获取注视点序列对应的环境画面序列，确定环境画面平稳值；再基于环境画面平稳值，确定捕获画面的目标方式，可以针对目标用户的不同注视点情况结合环境画面，可以更精准的选择对应的捕获画面方式，提高画面捕获效率，显著提升
用户体验。
78.图5a是根据本说明书一些实施例所示的基于环境画面平稳值确定捕获画面的目标方式的示例性流程图。如图5a所示，流程500包括下述步骤。在一些实施例中，流程500可以由目标终端执行。
79.步骤510，获取环境画面的参考图像集，参考图像集包括至少一张带有标签的参考图像。
80.参考图像是指可以反映环境画面的参考的图像，参考图像集是指参考图像的集合。例如，参考图像可以是包含“太和殿”的图像，参考图像集可以是多张包含“太和殿”的图像等。
81.在一些实施例中，参考图像集可以包括至少一张带有标签的参考图像。标签可以是反映参考图像集某一特征的信息。示例性的，如图5b所示，参考图像集中的参考图像511的标签512包括拍摄该参考图像时的时间、天气等。例如，参考图像是“太和殿”的图像，参考图像的标签可以是时间“上午10:00”、天气“晴朗”等。
82.在一些实施例中，目标终端可以基于网络获取参考图像集。例如，可以基于网络获取热门的旅游景点、拍照景点，作为参考图像集。
83.在一些实施例中，目标终端可以基于当前位置信息，确定参考图像集。其中，不同的位置信息，可以对应不同的参考图像集。例如，当前位置信息为“北京大学”，对应的参考图像集可以包括“北京大学食堂、北京大学宿舍、北京大学图书馆等”。当前位置信息可以基于定位设备如gps、北斗等获取，或通过网络获取。
84.在一些实施例中，目标终端还可以根据不同用户在各个位置的拍照或摄像频率，并从中选取频率最高的图像或视频，确定位置对应的参考图像集。例如，智能眼镜可以离线更新数据库，记录不同用户在比较热门的拍照地点的拍照频率，并从中选出频率最高拍照地点对应的图像，作为该位置对应的参考图像集；再例如，智能眼镜可以记录不同用户在比较热门的拍照地点的摄像频率，并从中选出满足预设条件视频，截取视频的第一帧，作为该位置对应的参考图像集。
85.在一些实施例中，目标终端可以基于目标用户对所拍摄图像或视频的选取、共享、存储等操作，确定参考图像集。例如，当目标用户对所拍摄图像/视频之一进行进一步操作如上传网络、共享、收藏、存储等时，可以将对应的已拍摄图像加入参考图像集。
86.步骤520，获取目标用户的注视点范围的当前画面。
87.当前画面是指目标用户当前注视点范围的画面，例如，当目标用户的注视点为黑板，注视点范围的当前画面可以是讲台、黑板等。目标终端可以获取目标用户的注视点范围的当前画面。在一些实施例中，目标终端可以对当前画面添加标签。例如，如图5b所示，对当前画面521添加标签522，如时间、天气等标签。
88.步骤530，确定参考图像集中每一参考图像与当前画面之间的相似度。
89.相似度是指参考图像与当前画面之间的相似程度，例如，相似度可以是0～1之间的数值，如相似度为0.1代表相似较少，相似度为0.9代表相似较多等。
90.在一些实施例中，可以基于机器学习模型确定参考图像集中每一参考图像与当前画面之间的相似度。例如，针对参考图像集中每一参考图像，基于相似度确定模型，输入参考图像与当前画面，输出二者之间的相似度。其中，相似度确定模型可以基于历史参考图像
与历史画面训练得到。训练标签可以是历史参考图像与历史画面之间的相似度。训练标签可以人工标注确定。
91.步骤540，基于每一参考图像与当前画面之间的相似度，确定目标参考图像。
92.目标参考图像是指基于相似度确认后的参考图像，例如，用户当前智能眼镜捕获的画面a与参考图像集中参考图像b的相似度最高，则参考图像b为目标参考图像。当参考图像与当前画面之间相似度大于相似度阈值时，将该参考图像作为目标参考图像，其中，相似度阈值可以基于人工设置确定。
93.在一些实施例中，目标终端还可以确定参考图像集中每一参考图像与当前画面之间的相似度。在一些实施例中，目标终端还可以确定每一参考图像的标签与当前画面的标签之间的相似度。示例性的，相似度＝当前画面与某一参考图像相似度*时间标签相似度*天气标签相似度。例如，图像相似度为0.7，时间标签相似度为0.8，天气标签的相似度为1，则参考图像与当前画面之间的相似度为0.56。
94.本说明书一些实施例中，通过引入参考图像集的标签与当前画面标签的相似度匹配，实现相似度快速匹配，当标签相差较大时，可以仅进行标签的相似度匹配即可判断该参考图像与当前画面不匹配，而不进行该参考图像与当前画面图像的相似度匹配，从而节省算力，提高计算效率。
95.步骤550，基于倾向预设参数、目标参考图像与当前画面之间的相似度以及目标参考图像的标签，确定当前画面的倾向因子。
96.倾向预设参数是指预先设置的反映目标方式倾向程度的参数。例如，倾向预设参数可以是0至1之间的预设值，倾向预设参数越大，目标终端选择某一目标方式的倾向程度(即可能性)越大。可以基于人工设置确定倾向预设参数。
97.倾向因子是指用于修正环境画面平稳值的倾向值，其中，倾向因子可以是大于1或者是小于1的数值。
98.在一些实施例中，可以根据当前画面与目标参考图像对应的标签，确定倾向因子。在一些实施例中，根据标签的不同，倾向因子的确定方法不同。例如，当前画面a与参考图像集中参考图像b的相似度最高(如95％)，参考图像b对应的标签为视频，则倾向因子＝1-m*n，其中，m为倾向预设参数(如20％)，n为画面a与参考图像b的相似度(即前述的95％)。再例如，当前画面a与参考图像集中参考图像b的相似度最高(如95％)，参考图像b对应的标签为照片，则倾向因子＝1+m*n，其中，m为倾向预设参数(如20％)，n为画面a与参考图像b的相似度(即前述的95％)。
99.步骤560，基于倾向因子和环境画面平稳值，确定捕获画面的目标方式。
100.在一些实施例中，当倾向因子和环境画面平稳值满足第二预设条件时，确定捕获画面的目标方式为拍摄图像；当倾向因子和环境画面平稳值不满足第二预设条件时，确定捕获画面的目标方式为拍摄视频。例如，当倾向因子和环境画面平稳值的乘积大于环境画面平稳值阈值，确定通过拍摄图像捕获画面；当倾向因子和环境画面平稳值的乘积小于环境画面平稳值阈值，确定通过拍摄视频捕获画面。
101.通过本说明书一些实施例所述的倾向因子确定，可以对环境画面平稳值进行修正，根据与当前画面相似度最高的参考图像的标签，确定目标方式，可以实现基于拍摄习惯、常用拍摄方式等确定捕获当前画面的方式，提高捕获当前画面的方式的可实现性与捕
获画面效果。
102.本说明书一些实施例还提供一种智能图像捕获装置，包括至少一个处理器以及至少一个存储器，至少一个存储器用于存储计算机指令；至少一个处理器用于执行计算机指令中的至少部分指令以实现如上述实施例中任一项所述智能图像捕获方法。
103.本说明书一些实施例还提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如上述实施例中任一项所述智能图像捕获方法。
104.应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
105.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
106.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
107.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
108.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
109.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
110.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容
不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
111.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征：

1.一种智能图像捕获方法，其特征在于，所述方法由目标终端执行，包括：获取目标用户在目标时间段内的注视点序列，所述注视点序列包括所述目标用户在所述目标时间段内多个时间点的注视点；基于所述注视点序列，确定是否需要捕获画面；当需要捕获画面时，确定捕获画面的目标方式；以及基于所述目标方式进行画面捕获。2.根据权利要求1所述的方法，其特征在于，所述基于所述注视点序列，确定是否需要捕获画面包括：基于所述注视点序列，确定所述目标用户在所述目标时间段内的注视点平稳值，所述注视点平稳值表征所述目标用户的所述注视点在所述多个时间点的位移幅度；当所述注视点平稳值满足第一预设条件时，确定需要捕获画面；当所述注视点平稳值不满足第一预设条件时，确定不需要捕获画面。3.根据权利要求1所述的方法，其特征在于，所述当需要捕获画面时，确定捕获画面的目标方式包括：获取所述注视点序列对应的环境画面序列，所述环境画面序列包括所述目标用户在所述多个时间点的注视点范围的环境画面；基于所述环境画面序列，确定环境画面平稳值，所述环境画面平稳值表征所述环境画面在所述多个时间点的变化幅度；基于所述环境画面平稳值，确定捕获画面的所述目标方式。4.根据权利要求3所述的方法，其特征在于，所述基于所述环境画面平稳值，确定捕获画面的所述目标方式包括：获取所述环境画面的参考图像集，所述参考图像集包括至少一张带有标签的参考图像；获取所述目标用户的所述注视点范围的当前画面；确定所述参考图像集中每一参考图像与所述当前画面之间的相似度；基于所述每一参考图像与所述当前画面之间的相似度，确定目标参考图像；基于倾向预设参数、所述目标参考图像与所述当前画面之间的相似度以及所述目标参考图像的标签，确定所述当前画面的倾向因子；以及基于所述倾向因子和所述环境画面平稳值，确定捕获画面的所述目标方式。5.一种智能图像捕获系统，其特征在于，所述系统包括：获取模块，用于获取目标用户在目标时间段内的注视点序列，所述注视点序列包括所述目标用户在所述目标时间段内多个时间点的注视点；第一确定模块，用于基于所述注视点序列，确定是否需要捕获画面；第二确定模块，用于当需要捕获画面时，确定捕获画面的目标方式；以及处理模块，用于基于所述目标方式进行画面捕获。6.根据权利要求5所述的系统，其特征在于，所述第一确定模块进一步用于：基于所述注视点序列，确定所述目标用户在所述目标时间段内的注视点平稳值，所述注视点平稳值表征所述目标用户的所述注视点在所述多个时间点的位移幅度；当所述注视点平稳值满足第一预设条件时，确定需要捕获画面；
当所述注视点平稳值不满足第一预设条件时，确定不需要捕获画面。7.根据权利要求5所述的系统，其特征在于，所述第二确定模块进一步用于：获取所述注视点序列对应的环境画面序列，所述环境画面序列包括所述目标用户在所述多个时间点的注视点范围的环境画面；基于所述环境画面序列，确定环境画面平稳值，所述环境画面平稳值表征所述环境画面在所述多个时间点的变化幅度；基于所述环境画面平稳值，确定捕获画面的所述目标方式。8.根据权利要求7所述的系统，其特征在于，所述第二确定模块进一步用于：获取所述环境画面的参考图像集，所述参考图像集包括至少一张带有标签的参考图像；获取所述目标用户的所述注视点范围的当前画面；确定所述参考图像集中每一参考图像与所述当前画面之间的相似度；基于所述每一参考图像与所述当前画面之间的相似度，确定目标参考图像；基于倾向预设参数、所述目标参考图像与所述当前画面之间的相似度以及所述目标参考图像的标签，确定所述当前画面的倾向因子；以及基于所述倾向因子和所述环境画面平稳值，确定捕获画面的所述目标方式。9.一种智能图像捕获装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～4所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～4所述的方法。

技术总结

本说明书实施例提供一种智能图像捕获方法、系统、装置以及存储介质，该方法包括获取目标用户在目标时间段内的注视点序列，注视点序列包括目标用户在目标时间段内多个时间点的注视点；基于注视点序列，确定是否需要捕获画面；当需要捕获画面时，确定捕获画面的目标方式；以及基于目标方式进行画面捕获。以及基于目标方式进行画面捕获。以及基于目标方式进行画面捕获。