一种HUD的图像处理方法、系统、HUD及存储介质与流程

阅读：评论：0

一种hud的图像处理方法、系统、hud及存储介质
技术领域
1.本发明涉及抬头显示技术领域，尤指一种hud的图像处理方法、系统、hud及存储介质。

背景技术：

2.近年来，为实现人车新对话形式，提高汽车的安全性，抬头显示(head up display，hud)作为一款新技术产品应运而生。抬头显示技术是利用光学反射原理，将交通工具，例如交通工具的仪表信息(车速、温度、油量等)和导航信息等通过交通工具的挡风玻璃投射在驾驶员的视野范围内，让驾驶员尽量做到不低头、不转头就能看到时速、导航等重要的驾驶信息，避免分散对前方道路的注意力，提高安全性，同时驾驶员不必在观察远方的道路和近处的仪表之间调节眼睛，可避免眼睛疲劳。然而，hud经过光学系统投射到汽车的前挡风玻璃上，该过程经过复杂的光学转换以及汽车前挡风玻璃的非标准面型等原因，在前挡风玻璃上显示的图像会有畸变，从而影响视觉效果。
3.目前，对hud图像进行矫正时，通常是对整幅图像进行矫正，会占用较大的运算算力，对于算力不高的系统，会导致系统卡顿，影响实际使用效果。

技术实现要素：

4.本发明的目的是提供一种hud的图像处理方法、系统、hud及存储介质，不仅可对hud的图像进行矫正，而且占用运算算力小。
5.本发明提供的技术方案如下：
6.一方面，提供一种hud的图像处理方法，包括：
7.获取当前待显示图像；
8.对所述当前待显示图像进行分区，得到工作区域图像和非工作区域图像，所述工作区域图像为所述当前待显示图像中显示有车辆基本信息和/或提示信息的区域的图像，所述非工作区域图像为当前待显示图像中除了所述工作区域图像以外的区域构成的图像；
9.对所述工作区域图像进行反畸变矫正，得到反畸变区域图像；
10.在所述非工作区域图像填充背景，得到背景区域图像；
11.将所述反畸变区域图像和所述背景区域图像合成为反畸变图像，并将所述反畸变图像输出至hud的图像生成单元，以投射到成像部件上。
12.在一些实施方式中，所述工作区域图像包括第一工作区域图像和第二工作区域图像；
13.所述对所述工作区域图像进行反畸变矫正，得到反畸变区域图像具体包括：
14.获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；
15.根据所述第一映射关系对所述第一工作区域图像进行反畸变变换，得到所述第一工作区域图像对应的第一反畸变区域图像；
16.查所述第二工作区域图像对应的第二反畸变区域图像；
17.将所述第一反畸变区域图像和所述第二反畸变区域图像合成为反畸变区域图像。
18.其中，查所述第二工作区域图像对应的第二反畸变区域图像，可以是hud从数据库中查，该数据库中预先存储有多个预先进行过反畸变矫正的图像；也可以是从存储空间中查，该存储空间中预先存。储有多个预先进行过反畸变矫正的图像
19.在一些实施方式中，所述查所述第二工作区域图像对应的第二反畸变区域图像具体包括：
20.将所述第二工作区域图像划分为多个第二工作子区域图像；
21.分别查多个所述第二工作子区域图像对应的第二反畸变子区域图像；
22.将多个所述第二反畸变子区域图像合成为第二反畸变区域图像。
23.在一些实施方式中，所述对所述工作区域图像进行反畸变矫正，得到反畸变区域图像具体包括：
24.获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；
25.根据所述第一映射关系对所述工作区域图像进行反畸变变换，得到反畸变区域图像。
26.在一些实施方式中，所述获取当前待显示图像之前还包括：
27.获取预设未畸变图像；
28.将预设未畸变图像输入hud的图像生成单元并投射到成像部件上得到第一显示图像；
29.根据预设未畸变图像与第一显示图像之间的像素点位置关系，得到预设未畸变图像到第一显示图像的第二映射关系，其中，所述预设未畸变图像的各像素点和所述第一显示图像的各像素点一一对应；
30.对所述第二映射关系进行逆映射变换得到第一显示图像到预设未畸变图像的第一映射关系。
31.在一些实施方式中，所述预设未畸变图像为由多个均匀间隔设置的点阵组成的点阵图像；
32.所述根据预设未畸变图像与第一显示图像之间的像素点位置关系，得到预设未畸变图像到第一显示图像的第二映射关系具体包括：
33.根据预设未畸变图像与第一显示图像之间的点阵位置关系，得到预设未畸变图像到第一显示图像的第二映射关系，其中，所述预设未畸变图像的点阵中的各个点和所述第一显示图像的点阵中的各个点一一对应。
34.另一方面，还提供一种hud的图像处理系统，包括：
35.获取模块，用于获取当前待显示图像；
36.分区模块，用于对所述当前待显示图像进行分区，得到工作区域图像和非工作区域图像，所述工作区域图像为所述当前待显示图像中显示有车辆基本信息和/或提示信息的区域的图像，所述非工作区域图像为当前待显示图像中除了所述工作区域图像以外的区域构成的图像；
37.反畸变模块，用于对所述工作区域图像进行反畸变矫正，得到反畸变区域图像；
38.填充模块，用于在所述非工作区域图像填充背景，得到背景区域图像；
39.处理模块，用于将所述反畸变区域图像和所述背景区域图像合成为反畸变图像，并将所述反畸变图像输出至hud的图像生成单元，以投射到成像部件上。
40.在一些实施方式中，所述工作区域图像包括第一工作区域图像和第二工作区域图像；
41.所述反畸变模块包括：
42.获取单元，用于获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；
43.反畸变单元，用于根据所述第一映射关系对所述第一工作区域图像进行反畸变变换，得到所述第一工作区域图像对应的第一反畸变区域图像；
44.图像查单元，用于查所述第二工作区域图像对应的第二反畸变区域图像；
45.图像合成单元，用于将所述第一反畸变区域图像和所述第二反畸变区域图像合成为反畸变区域图像。
46.在一些实施方式中，所述图像查单元，还用于将所述第二工作区域图像划分为多个第二工作子区域图像；并用于分别查多个所述第二工作子区域图像对应的第二反畸变子区域图像；
47.所述图像合成单元，还用于将多个所述第二反畸变子区域图像合成为第二反畸变区域图像。
48.在一些实施方式中，所述反畸变模块还包括：
49.获取单元，用于获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；
50.反畸变单元，用于根据所述第一映射关系对所述工作区域图像进行反畸变变换，得到反畸变区域图像。
51.又一方面，还提供一种hud，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器，用于执行所述存储器上所存放的计算机程序，实现如上述任一实施方式所述的hud的图像处理方法所执行的操作。
52.再一方面，还提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述任一实施方式所述的hud的图像处理方法所执行的操作。
53.本发明的技术效果在于：在对需要经hud投射的图像进行矫正时，先对图像进行分区，将图像分为工作区域图像和非工作区域图像，然后仅对工作区域图像进行反畸变矫正处理，对非工作区域图像只需要填充背景颜，可大幅减少占用的运算算力，防止系统出现卡顿，同时可降低对芯片的算力要求。
附图说明
54.下面结合附图和具体实施方式对本发明作进一步详细说明：
55.图1是本技术一个实施例提供的一种hud的图像处理方法的流程示意图；
56.图2是本技术实施例提供的hud的结构示意图；
57.图3是本技术实施例提供的当前待显示图像的示意图；
58.图4是本技术实施例提供的反畸变图像的示意图；
59.图5是本技术实施例提供的第二显示图像的示意图；
60.图6是本技术另一个实施例提供的一种hud的图像处理方法的流程示意图；
61.图7是本技术实施例提供的预设未畸变图像的示意图；
62.图8是申请实施例提供的第一显示图像的示意图；
63.图9是本技术又一个实施例提供的一种hud的图像处理方法的流程示意图；
64.图10是本技术再一个实施例提供的一种hud的图像处理方法的流程示意图；
65.图11是本技术一个实施例提供的一种hud的图像处理系统的结构示意框图；
66.图12是本技术另一个实施例提供的一种hud的图像处理系统的结构示意框图。
具体实施方式
67.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
68.为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
69.还应当进一步理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
70.在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
71.另外，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
72.为了便于理解，下面将以hud应用于车辆为例，结合附图详细介绍本技术的技术方案。
73.应当理解，本技术技术方案提供的hud可以应用于多种载具，包括但不限于车辆等陆用交通工具，航空器(或者称为飞行器)等空中交通工具，或水上或水下交通工具等。
74.如图1所示，一种hud的图像处理方法，包括：
75.s100获取当前待显示图像；
76.s200对所述当前待显示图像进行分区，得到工作区域图像和非工作区域图像，所述工作区域图像为所述当前待显示图像中显示有车辆基本信息和/或提示信息的区域的图像，所述非工作区域图像为当前待显示图像中除了所述工作区域图像以外的区域构成的图像；
77.s300对所述工作区域图像进行反畸变矫正，得到反畸变区域图像；
78.s400在所述非工作区域图像填充背景，得到背景区域图像；
79.s500将所述反畸变区域图像和所述背景区域图像合成为反畸变图像，并将所述反畸变图像输出至hud的图像生成单元，以投射到成像部件上。
80.如图2所示，hud一般包括图像生成单元、平面反射镜和曲面反射镜；hud的工作原理为：图像生成单元出射的光线通过平面反射镜反射至曲面反射镜、再经过曲面反射镜反射至车辆的成像部件，成像部件可以为车辆的挡风玻璃或者其它可以显示图像的部件，再经过挡风玻璃反射至人眼，人眼通过挡风玻璃看到的图像即为hud的虚像。
81.输入到图像生成单元的正常图像(非畸变图像)经平面反射镜、曲面反射镜等进行复杂的光学转换以及车辆挡风玻璃的非标准面型等原因，在挡风玻璃上显示的图像会有畸变。为避免显示在挡风玻璃上的图像因畸变而影响视觉效果，需要对图像进行畸变矫正处理，以提高视觉效果。
82.本实施例的当前待显示图像是指需要由hud出射后在成像部件(例如挡风玻璃)上显示的原始图像，不难理解，通常该原始图像在未经hud光学系统处理时是不存在畸变的。
83.在一些实施例中，假设当前待显示图像如图3所示，将当前待显示图像输入到hud后，若不对当前待显示图像进行畸变矫正处理，该图像经过hud的光学器件的复杂光学转换以及汽车前挡风玻璃的非标准面型等原因，则在挡风玻璃上显示的图像会产生畸变。若对当前待显示图像先进行反畸变矫正处理，则投射到挡风玻璃上的图像相对于当前待显示图像几乎没有畸变。当前待显示图像可以包括但不限于车辆基本信息和/或提示信息等，车辆的基本信息可以包括车辆上的仪表信息；提示信息可以包括预警信息、导航信息等，其中预警信息可以包括但不限于前车碰撞预警、行人碰撞预警、车道偏离预警等预警信息。
84.本实施例对当前待显示图像进行反畸变矫正处理时，先对当前待显示图像进行分区处理，将当前待显示图像分为工作区域图像和非工作区域图像，工作区域图像是指当前待显示图像上显示有仪表信息和/或导航信息的区域，非工作区域图像是指当前待显示图像上未显示有仪表信息和导航信息的区域，工作区域可以为一个或多个。例如，图3所示的当前待显示图像中，工作区域为p1至p7所示的矩形区域，非工作区域为p1至p7所示的矩形区域以外的区域。在进行工作区域划分时，还可以将p4、p5和p6所示区域合并划分为一个工作区域，将p1、p2、p3和p7所示区域合并划分为一个工作区域，或者将p1至p7所示的矩形区域合并为一个工作区域，本技术对此不做限定。
85.对工作区域图像进行反畸变矫正处理，得到反畸变区域图像，当前待显示图像的工作区域进行反畸变变换后的图像如图4所示，对非工作区域图像不进行矫正处理，仅填充背景，如背景为黑，则对非工作区域图像填充黑，得到背景区域图像。然后将反畸变区域图像和背景区域图像合成为反畸变图像，即将反畸变区域图像和背景区域图像合并为一张图像，且反畸变区域图像对应当前待显示图像中的工作区域，背景区域图像对应当前待显示图像中的非工作区域。
86.然后将反畸变图像输出至hud的图像生成单元，并投射到挡风玻璃上得到正常的第二显示图像，如图5所示，该第二显示图像相对于图3所示的当前待显示图像来说几乎没有畸变。在对图3中的工作区域图像进行反畸变矫正处理，以及在非工作区域图像填充背景时可采用双线性插值方法或双立方插值方法等进行处理，优选的，采用双线性插值方法可以提高图像的清晰度，使图像模糊情况得到有效改善。
87.假设将未畸变图像a经过hu后投射到挡风玻璃上的显示图像b，将图像b中的各像素点相对于图像a中对应各像素点的位置偏差记为矩阵a(为了方便叙述，下面将该矩阵称之为畸变a)；将图像a中各像素点相对于图像b中对应各像素点的位置偏差记为矩阵b(为了方便叙述，下面将该矩阵称之为逆畸变a-1
)。则本技术技术方案所述的反畸变过程则为：逆畸变a-1
。从而工作区域图像经过反畸变a-1
变换得到反畸变区域图像，反畸变区域图像经过hud的畸变a变换后，畸变a-1
与畸变a变换相互抵消，使得在挡风玻璃上可观察到几乎没有畸变的图像。因非工作区域图像未显示车辆基本信息和/或提示信息等，非工作区域图像填充的仅是背景颜，所以虽然未对非工作区域图像进行反畸变处理，但是投射到挡风玻璃上的图像的非工作区域图像视觉上也无畸变。
88.由于hud需要在挡风玻璃上实时显示车辆基本信息、提示信息，其中提示信息，例如车辆碰撞预警、行人碰撞预警、车道偏离预警、导航图标等提醒信息随着车辆周围环境情况在实时变化的，也即待显示图像中显示的元素较多，且待显示图像至少部分元素是实时变化的，如果将这些有可能实时变化的元素和图像中的空白区域(这里是指未显示上述提示信息、车辆基本信息的区域)一起进行反畸变处理，这个处理过程计算量较大，对hud的算力要求较高，容易出现卡顿的现象。而本发明在对hud图像进行矫正时，先对图像进行分区，将图像分为工作区域图像和非工作区域图像，然后仅对工作区域图像进行反畸变矫正处理，可大幅减少hud在进行图像的畸变矫正处理时占用的运算算力，防止系统出现卡顿，同时可降低对芯片的算力要求。
89.在一些实施例中，在上述实施例的基础上，所述工作区域图像包括第一工作区域图像和第二工作区域图像；如图6所示，s300对所述工作区域图像进行反畸变矫正，得到反畸变区域图像具体包括：
90.s310获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像，第一映射关系是指第一显示图像与预设未畸变图像的对应像素点之间的位置关系；
91.s320根据所述第一映射关系对所述第一工作区域图像进行反畸变变换，得到所述第一工作区域图像对应的第一反畸变区域图像；
92.s330查所述第二工作区域图像对应的第二反畸变区域图像；
93.s340将所述第一反畸变区域图像和所述第二反畸变区域图像合成为反畸变区域图像。
94.具体的，在对工作区域图像进行反畸变矫正处理时，还可以对工作区域图像再进行分区，本实施例中将工作区域图像划分为第一工作区域图像和第二工作区域图像，然后分别对第一工作区域图像和第二工作区域图像进行畸变矫正。第一工作区域图像和第二工作区域图像的数量可以为一个或多个。
95.示例性的，用户通过挡风玻璃看到的虚像可以划分为w区域和ar区域，w区域主要显示的是车辆的一些基本信息，如显示导航缩略图、车速、turn by turn、车道选择、道路限速、油量、电量、里程数等信息；ar区域主要显示一些提示信息，如显示ar导航箭头、前车碰撞预警、车道线压线预警、行人碰撞预警、侧后方来车预警、车道偏离预警等图标信息。
96.第一工作区域图像可以是w区域，也可以是ar区域，即根据第一映射关系单独对w区域进行反畸变变换，或根据第一映射关系单独对ar区域进行反畸变变换。第一映射关系
为hud畸变的逆畸变，假设hud光学系统带来的畸变为畸变a，则第一映射关系为畸变a的逆畸变a-1
。在对图像进行畸变矫正处理前，可以先预设一个未畸变的图像，将该未畸变的图像定义为预设未畸变图像，预设未畸变图像如图7所示，将预设未畸变图像输入到hud中，hud中未设置有图像畸变处理算法时，预设未畸变图像经hud投射到挡风玻璃上，得到有畸变的图像，将在挡风玻璃上显示的有畸变图像定义为第一显示图像，第一显示图像如图8所示。得到第一显示图像后，利用预设未畸变图像与第一显示图像中对应点的位置关系，求出第一显示图像到预设未畸变图像的映射关系，得到第一映射关系。
97.当第一工作区域图像为w区域时，则第二工作区域图像为ar区域，处理时，根据第一映射关系对w区域进行反畸变变换，得到第一工作区域图像对应的第一反畸变区域图像，并在预设数据库中查ar区域对应的第二反畸变区域图像，然后将第一反畸变区域图像和第二反畸变区域图像合成为反畸变区域图像。
98.预设数据库中存储有各种ar导航箭头、前方车辆碰撞预警、车道线压线预警等图标的反畸变区域图像，即在hud设计阶段统计hud中可能出现的各种图标的图像，然后对各种图标的图像进行反畸变变换，得到各个图标对应的反畸变图标，并将反畸变变换得到的各种反畸变图标存储在数据库中形成预设数据库。在使用阶段，可直接在预设数据库中查第二工作区域图像对应的第二反畸变区域图像，以进一步节省运算算力。同理，当第一工作区域图像为ar区域，第二工作区域图像为w区域时，预设数据库中存储有车速、车道限速等图像的反畸变图像。
99.本实施例通过对工作区域图像进行分区，可单独对工作区域图像中的其中一个区域进行反畸变变换得到对应的反畸变区域图像，对剩余的其它区域采用图像查的方式获取对应的反畸变区域图像，图像查方式相比于像素点畸变矫正方式，占用的运算算力大幅减小，且一部分区域采用图像查的方式获取反畸变区域图像后，仅有一小部分区域需要采用像素点畸变矫正的方式进行矫正，使得hud占用的运算算力大幅减少，在芯片算力紧张的车载hud上，可提高系统的运行速率，防止系统出现卡顿等现象，且节省芯片成本。
100.进一步地，s330查所述第二工作区域图像对应的第二反畸变区域图像具体包括：
101.s331将所述第二工作区域图像划分为多个第二工作子区域图像；
102.s332分别查多个所述第二工作子区域图像对应的第二反畸变子区域图像；
103.s333将多个所述第二反畸变子区域图像合成为第二反畸变区域图像。
104.具体的，在预设数据库中查第二工作区域图像对应的反畸变区域图像时，还可以进一步对第二工作区域图像进行分区。
105.在一些实施例中，可以基于第二工作区域图像中是否有基本信息和/或上述预警提示信息、导航图标进一步进行分区。例如，第二工作区域图像包括一个导航图标和一个车道压线提醒图标，则可以将该第二工作区域图像分成三个区域，分别为：导航图标的最大外接矩形覆盖的区域、车道压线提醒图像的最大外接矩形覆盖的区域以及剩余的空白区域。
106.第二工作区域图像划分为多个第二工作子区域图像，然后在预设数据库中分别查多个第二工作子区域图像对应的第二反畸变子区域图像，然后将多个第二反畸变子区域图像按各自对应的第二工作子区域图像在第二工作区域图像中的位置关系拼接为一张第二反畸变区域图像。
107.若将第二工作区域图像划分为多个第二工作子区域图像，则预设数据库中预先存储有各个第二工作子区域图像对应的第二反畸变子区域图像。
108.将第二工作区域图像进一步分区后分别查第二工作子区域图像对应的反畸变子区域图像，预设数据库中只需要存储各个第二工作子区域对应的反畸变子区域图像，然后由各个反畸变子区域图像根据需求进行自由组合即可，预设数据库中无需存储各个第二工作区域图像对应的第二反畸变区域图像，以降低预设数据库中的图像存储量，进而降低第二反畸变图像的查难度。
109.在另一些实施例中，本发明对当前待显示图像进行工作区域和非工作区域划分时，还可以直接将导航图标和车道压线提醒图像直接划分两个工作区域，然后分别对这两个工作区域图像进行反畸变矫正处理。
110.通过将上述第二工作区域图像进一步划分为多个第二工作子区域图像，预先对各个第二工作子区域图像进行反畸变矫正处理后进行存储，在hud需要对待显示图像进行反畸变矫正处理时，只需要查询各个第二工作子区域图像对应的反畸变子区域图像后进行渲染，可以进一步降低计算量，提高图像处理速度，提升用户体验。
111.在另一实施例中，如图9所示，s300对所述工作区域图像进行反畸变矫正，得到反畸变区域图像具体包括：
112.s360获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；
113.s370根据所述第一映射关系对所述工作区域图像进行反畸变变换，得到反畸变区域图像。
114.具体的，对图像进行畸变矫正处理前，先预设一个未畸变的图像，将该未畸变的图像定义为预设未畸变图像，预设未畸变图像如图7所示，将预设未畸变图像输入到hud中，hud中未设置有图像畸变处理算法时，预设未畸变图像经hud投射到挡风玻璃上，得到有畸变的图像，将在挡风玻璃上显示的有畸变图像定义为第一显示图像，第一显示图像如图8所示。
115.得到第一显示图像后，利用预设未畸变图像与第一显示图像中对应点的位置关系，求出第一显示图像到预设未畸变图像的映射关系，得到第一映射关系。假设预设未畸变图像经过畸变a变换得到了第一显示图像，那么第一显示图像到预设未畸变图像的第一映射关系即为畸变a的逆畸变a-1
，畸变a为hud的光学系统带来的畸变。得到第一显示图像到预设未畸变图像的第一映射关系后，根据第一映射关系对整个工作区域图像进行反畸变变换，得到反畸变区域图像。
116.本实施例采用第一映射关系同时对第一工作区域和第二工作区域进行反畸变变换。在实际使用过程中，可根据工作区域需要显示的图标种类的多少来选择使用第一映射关系进行反畸变变换来得到对应的反畸变区域图像或采用在预设数据库中进行图像查的方式获取对应的反畸变区域图像。例如，若第一工作区域和第二工作区域需要显示的图标数量较少，第一工作区域和第二工作区域均可以采用在预设数据库中进行图像查的方式获取对应的反畸变区域图像。若第一工作区域和第二工作区域需要显示的图标数量非常庞大，那么第一工作区域和第二工作区域均可采用第一映射关系对第一工作区域图像和第二工作区域图像进行反畸变变换。若第一工作区域需要显示的图标数量较少，第二工作区
域需要显示的图标数量非常庞大，则第一工作区域可以采用在预设数据库中进行图像查的方式获取对应的反畸变区域图像，第二工作区域可以采用第一映射关系对第一工作区域图像进行反畸变变换。
117.在一些实施例中，在上述实施例的基础上，如图10所示，s100获取当前待显示图像之前还包括：
118.s010获取预设未畸变图像；
119.s020将预设未畸变图像输入hud的图像生成单元并投射到成像部件上得到第一显示图像；
120.s030根据预设未畸变图像与第一显示图像之间的像素点位置关系，得到预设未畸变图像到第一显示图像的第二映射关系，其中，所述预设未畸变图像的各像素点和所述第一显示图像的各像素点一一对应；
121.s040对所述第二映射关系进行逆映射变换得到第一显示图像到预设未畸变图像的第一映射关系。
122.具体的，为了获取第一显示图像到预设未畸变图像的第一映射关系，需要先获取一预设未畸变图像，然后将预设未畸变图像作为像源输入到hud的图像生成单元进行显示，并投射到挡风玻璃上得到第一显示图像。当获取的预设未畸变图像为灰度图像时，可直接输入到hud的图像生成单元进行后续步骤处理，当获取的预设未畸变图像不为灰度图像时，可先将预设未畸变图像转换为灰度图像，然后在输入到hud的图像生成单元进行后续步骤处理。
123.得到第一显示图像后，先根据预设未畸变图像与第一显示图像之间的像素点的位置关系，计算得到预设未畸变图像到第一显示图像之间的第二映射关系a。得到第二映射关系后，通过软件模拟计算出第二映射关系的逆映射关系得到第一映射关系a-1
。
124.在一些实施例中，预设未畸变图像为由多个均匀间隔设置的点阵组成的点阵图像；
125.s030根据预设未畸变图像与第一显示图像之间的像素点位置关系，得到预设未畸变图像到第一显示图像的第二映射关系具体包括：
126.s031根据预设未畸变图像与第一显示图像之间的点阵位置关系，得到预设未畸变图像到第一显示图像的第二映射关系，其中，所述预设未畸变图像的点阵中的各个点和所述第一显示图像的点阵中的各个点一一对应。
127.具体的，预设未畸变图像为点阵图像，计算第二映射关系时，可直接根据点阵图像中对应点阵的位置关系，求出预设未畸变图像到第一显示图像的映射关系，得到第二映射关系。将预设未畸变图像预设为点阵图像，可简化计算过程。
128.优选地，s031根据预设未畸变图像与第一显示图像之间的点阵位置关系，得到预设未畸变图像到第一显示图像的第二映射关系具体包括：
129.将所述预设未畸变图像中的点阵进行均匀分割得到多个大小相同的第一点阵单元；
130.将所述第一显示图像中的点阵进行均匀分割得到多个大小相同的第二点阵单元；
131.根据多个所述第一点阵单元与分别对应的所述第二点阵单元的点阵位置关系，得到预设未畸变图像到第一显示图像的第二映射关系。
132.具体的，在计算预设未畸变图像到第一显示图像的第二映射关系时，可以对预设未畸变图像中的点阵进行分割，例如，可将相邻四个点作为一个点阵单元，将预设未畸变图像分割为多个第一点阵单元，同样对第一显示图像中的点阵进行分割，将第一显示图像中相邻四个点作为一个点阵单元，得到多个第二点阵单元，然后计算第一点阵单元与对应的第二点阵单元的点阵位置关系，得到预设未畸变图像到第一显示图像的第二映射关系。
133.本实施例在计算映射关系时对点阵图像进行分割，可减少计算量。对点阵图像进行分割时，可以将相邻四个点作为一个点阵单元，也可以将相邻六个点作为一个点阵单元，具体以相邻的多少个点作为一个点阵单元，可根据实际计算需求进行设置，本实施例不作具体限定。
134.本发明还提供一种hud的图像处理系统的实施例，如图11所示，包括：
135.获取模块10，用于获取当前待显示图像；
136.分区模块20，用于对所述当前待显示图像进行分区，得到工作区域图像和非工作区域图像；
137.反畸变模块30，用于对所述工作区域图像进行反畸变矫正，得到反畸变区域图像；
138.填充模块40，用于在所述非工作区域图像填充背景，得到背景区域图像；
139.处理模块50，用于将所述反畸变区域图像和所述背景区域图像合成为反畸变图像，并将所述反畸变图像输出至hud的图像生成单元，以投射到成像部件上。
140.在一些实施例中，述工作区域图像包括第一工作区域图像和第二工作区域图像；如图11所示，反畸变模块30包括：
141.获取单元31，用于获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；
142.反畸变单元32，用于根据所述第一映射关系对所述第一工作区域图像进行反畸变变换，得到所述第一工作区域图像对应的第一反畸变区域图像；
143.图像查单元33，用于在预设数据库中查所述第二工作区域图像对应的第二反畸变区域图像；
144.图像合成单元34，用于将所述第一反畸变区域图像和所述第二反畸变区域图像合成为反畸变区域图像。
145.其中，图像查单元33，还用于将所述第二工作区域图像划分为多个第二工作子区域图像；并用于分别查多个所述第二工作子区域图像对应的第二反畸变子区域图像；
146.图像合成单元34，还用于将多个所述第二反畸变子区域图像合成为第二反畸变区域图像。
147.在另一实施例中，如图12所示，反畸变模块30包括：
148.获取单元31，用于获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；
149.反畸变单元32，用于根据所述第一映射关系对所述工作区域图像进行反畸变变换，得到反畸变区域图像。
150.在一些实施例中，如图11和图12所示，还包括映射关系构建模块60和映射关系逆变换模块70；
151.获取模块10，还用于获取预设未畸变图像；
152.处理模块50，还用于将预设未畸变图像输入hud的图像生成单元并投射到挡风玻璃上得到第一显示图像；
153.映射关系构建模块60，用于根据预设未畸变图像与第一显示图像之间的像素点位置关系，得到预设未畸变图像到第一显示图像的第二映射关系，其中，所述预设未畸变图像的各像素点和所述第一显示图像的各像素点一一对应；
154.映射关系逆变换模块70，用于对所述第二映射关系进行逆映射变换得到第一显示图像到预设未畸变图像的第一映射关系。
155.在一些实施例中，预设未畸变图像为由多个均匀间隔设置的点阵组成的点阵图像；
156.映射关系构建模块60，还用于根据预设未畸变图像与第一显示图像之间的点阵位置关系，得到预设未畸变图像到第一显示图像的第二映射关系。
157.如图11和图12所示，映射关系构建模块60包括：
158.分割单元61，用于将所述预设未畸变图像中的点阵进行均匀分割得到多个大小相同的第一点阵单元；
159.分割单元61，还用于将所述第一显示图像中的点阵进行均匀分割得到多个大小相同的第二点阵单元；
160.映射关系构建单元62，用于根据多个所述第一点阵单元与分别对应的所述第二点阵单元的点阵位置关系，得到预设未畸变图像到第一显示图像的第二映射关系，其中，所述预设未畸变图像的点阵中的各个点和所述第一显示图像的点阵中的各个点一一对应。
161.具体的，本实施例是上述方法实施例对应的系统实施例，具体效果参见上述方法实施例，在此不再一一赘述。
162.本发明的一个实施例，一种hud，包括处理器、存储器，其中，存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的计算机程序，实现上述所对应方法实施例中的hud的图像处理方法。
163.hud还包括图像生成单元、平面反射镜和曲面反射镜，图像生成单元出射的光线通过平面反射镜反射至曲面反射镜、再经过曲面反射镜反射至车辆的挡风玻璃，再经过挡风玻璃反射至人眼，人眼通过挡风玻璃看到的图像即为hud的虚像。
164.处理器内存储有用于实现hud的图像处理方法的计算机程序，完成对当前待显示图像的反畸变处理以得到反畸变图像，然后将反畸变图像输入到图像生成单元，并通过平面反射镜和曲面反射镜投射到挡风玻璃上形成第二显示图像，使得第二显示图像相对于当前待显示图像几乎无畸变，完成为hud图像的畸变矫正。
165.本发明的一个实施例，一种存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现上述hud的图像处理方法对应实施例所执行的操作。例如，存储介质可以是只读内存(rom)、随机存取存储器(ram)、只读光盘(cd-rom)、磁带、软盘和光数据存储设备等。
166.它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
167.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
168.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
169.在本发明所提供的实施例中，应该理解到，所揭露的装置/hud和方法，可以通过其他的方式实现。例如，以上所描述的装置/hud实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。
170.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
171.另外，在本发明各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
172.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序发送指令给相关的硬件完成，所述的计算机程序可存储于一存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储介质可以包括：能够携带所述计算机程序的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读的存储介质不包括电载波信号和电信信号。
173.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
174.以上所述仅是本发明的优选实施方式，上述实施例均可根据需要自由组合，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若
干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：

1.一种hud的图像处理方法，其特征在于，包括：获取当前待显示图像；对所述当前待显示图像进行分区，得到工作区域图像和非工作区域图像，所述工作区域图像为所述当前待显示图像中显示有车辆基本信息和/或提示信息的区域的图像，所述非工作区域图像为当前待显示图像中除了所述工作区域图像以外的区域构成的图像；对所述工作区域图像进行反畸变矫正，得到反畸变区域图像；在所述非工作区域图像填充背景，得到背景区域图像；将所述反畸变区域图像和所述背景区域图像合成为反畸变图像，并将所述反畸变图像输出至hud的图像生成单元，以投射到成像部件上。2.根据权利要求1所述的一种hud的图像处理方法，其特征在于，所述工作区域图像包括第一工作区域图像和第二工作区域图像；所述对所述工作区域图像进行反畸变矫正，得到反畸变区域图像具体包括：获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；根据所述第一映射关系对所述第一工作区域图像进行反畸变变换，得到所述第一工作区域图像对应的第一反畸变区域图像；查所述第二工作区域图像对应的第二反畸变区域图像；将所述第一反畸变区域图像和所述第二反畸变区域图像合成为反畸变区域图像。3.根据权利要求2所述的一种hud的图像处理方法，其特征在于，所述查所述第二工作区域图像对应的第二反畸变区域图像具体包括：将所述第二工作区域图像划分为多个第二工作子区域图像；分别查多个所述第二工作子区域图像对应的第二反畸变子区域图像；将多个所述第二反畸变子区域图像合成为第二反畸变区域图像。4.根据权利要求1所述的一种hud的图像处理方法，其特征在于，所述对所述工作区域图像进行反畸变矫正，得到反畸变区域图像具体包括：获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；根据所述第一映射关系对所述工作区域图像进行反畸变变换，得到反畸变区域图像。5.根据权利要求4所述的一种hud的图像处理方法，其特征在于，所述获取当前待显示图像之前还包括：获取预设未畸变图像；将预设未畸变图像输入hud的图像生成单元并投射到成像部件上得到第一显示图像；根据预设未畸变图像与第一显示图像之间的像素点位置关系，得到预设未畸变图像到第一显示图像的第二映射关系，其中，所述预设未畸变图像的各像素点和所述第一显示图像的各像素点一一对应；对所述第二映射关系进行逆映射变换得到第一显示图像到预设未畸变图像的第一映射关系。6.根据权利要求5所述的一种hud的图像处理方法，其特征在于，所述预设未畸变图像为由多个均匀间隔设置的点阵组成的点阵图像；
所述根据预设未畸变图像与第一显示图像之间的像素点位置关系，得到预设未畸变图像到第一显示图像的第二映射关系具体包括：根据预设未畸变图像与第一显示图像之间的点阵位置关系，得到预设未畸变图像到第一显示图像的第二映射关系，其中，所述预设未畸变图像的点阵中的各个点和所述第一显示图像的点阵中的各个点一一对应。7.一种hud的图像处理系统，其特征在于，包括：获取模块，用于获取当前待显示图像；分区模块，用于对所述当前待显示图像进行分区，得到工作区域图像和非工作区域图像，所述工作区域图像为所述当前待显示图像中显示有车辆基本信息和/或提示信息的区域的图像，所述非工作区域图像为当前待显示图像中除了所述工作区域图像以外的区域构成的图像；反畸变模块，用于对所述工作区域图像进行反畸变矫正，得到反畸变区域图像；填充模块，用于在所述非工作区域图像填充背景，得到背景区域图像；处理模块，用于将所述反畸变区域图像和所述背景区域图像合成为反畸变图像，并将所述反畸变图像输出至hud的图像生成单元，以投射到成像部件上。8.根据权利要求7所述的一种hud的图像处理系统，其特征在于，所述工作区域图像包括第一工作区域图像和第二工作区域图像；所述反畸变模块包括：获取单元，用于获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；反畸变单元，用于根据所述第一映射关系对所述第一工作区域图像进行反畸变变换，得到所述第一工作区域图像对应的第一反畸变区域图像；图像查单元，用于查所述第二工作区域图像对应的第二反畸变区域图像；图像合成单元，用于将所述第一反畸变区域图像和所述第二反畸变区域图像合成为反畸变区域图像。9.根据权利要求8所述的一种hud的图像处理系统，其特征在于，所述图像查单元，还用于将所述第二工作区域图像划分为多个第二工作子区域图像；并用于分别查多个所述第二工作子区域图像对应的第二反畸变子区域图像；所述图像合成单元，还用于将多个所述第二反畸变子区域图像合成为第二反畸变区域图像。10.根据权利要求7所述的一种hud的图像处理系统，其特征在于，所述反畸变模块还包括：获取单元，用于获取第一显示图像到预设未畸变图像的第一映射关系，所述第一显示图像为所述预设未畸变图像经hud投射至成像部件形成的畸变图像；反畸变单元，用于根据所述第一映射关系对所述工作区域图像进行反畸变变换，得到反畸变区域图像。11.一种hud，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器，用于执行所述存储器上所存放的计算机程序，实现如权利要求1至权利要求6任一项所述的hud的图像处理方法所执行的操作。
12.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的hud的图像处理方法所执行的操作。

技术总结

本发明属于抬头显示领域，公开了一种HUD的图像处理方法、系统、HUD及存储介质，HUD的图像处理方法包括获取当前待显示图像；对当前待显示图像进行分区，得到工作区域图像和非工作区域图像；对工作区域图像进行反畸变矫正，得到反畸变区域图像；在非工作区域图像填充背景，得到背景区域图像；将反畸变区域图像和背景区域图像合成为反畸变图像，并将反畸变图像输出至HUD的图像生成单元，以投射到成像部件上。本发明在对HUD图像进行矫正时，先将图像分为工作区域图像和非工作区域图像，然后仅对工作区域图像进行反畸变矫正处理，对非工作区域图像只需要填充背景颜，可大幅减少占用的运算算力，防止系统出现卡顿，同时可降低对芯片的算力要求。的算力要求。的算力要求。