一种圆形指针式仪表校正和读数识别方法与流程

阅读：评论：0

1.本发明属于圆形指针式仪表校正和读数识别方法领域，具体涉及一种圆形指针式仪表校正和读数识别方法。

背景技术：

2.指针式仪表具有应用范围广、受环境影响小、精度高等优点，因此受到了大多数工厂的使用。但是指针式仪表在数值获取方面大多是通过人工进行读取，并且部分仪表所处环境复杂，使得工作人员无法便捷、迅速和高效的获取仪表读数，导致仪表读数方式困难、工作量大、时效性差等问题。因此，实现自动化指针式仪表读数对于智能工业发展具有较大意义。
3.现有仪表读数识别方法主要基于仪表的正视图像。但是在真实场景中，监控视频拍摄的图像可能存在倾斜变换和旋转变换，对仪表读数识别的精度影响较大。此外，在仪表读数需要经过仪表盘定位、刻度识别、指针方向拟合等多个环节，容易导致最终的读数存在一定的误差。

技术实现要素：

4.(一)要解决的技术问题
5.本发明要解决的技术问题是如何提供一种圆形指针式仪表校正和读数识别方法，以解决现有仪表读数识别方法主要基于仪表的正视图像，但是在真实场景中，监控视频拍摄的图像可能存在倾斜变换和旋转变换，容易导致最终的读数存在一定的误差的问题。
6.(二)技术方案
7.为了解决上述技术问题，本发明提出一种圆形指针式仪表校正和读数识别方法，该方法包括如下步骤：
8.s101、使用深度学习方法检测仪表盘中的刻度值作为关键点；
9.s102、使用最小二乘法拟合关键点椭圆的方法进行仪表的透视校正、透视变换和旋转校正；
10.s103、对指针进行直线拟合，确定指针的方向；
11.s104、计算指针读数。
12.(三)有益效果
13.本发明提出一种圆形指针式仪表校正和读数识别方法，本发明提供一种圆形指针式仪表校正和读数识别方法，可以将倾斜和旋转的指针式仪表中的刻度值位置由椭圆变换为正圆，有利于提高指针仪表读数识别的精度。
附图说明
14.图1为本发明圆形指针式仪表校正和读数识别方法的流程图；
15.图2为仪表刻度值检测结果图；
16.图3为仪表刻度值椭圆拟合；
17.图4为仪表刻度值的椭圆长短轴和椭圆与圆的交点获取结果；
18.图5为旋转校正角度示意图；
19.图6为旋转校正前后对比示意图；(a)为校正前；(b)为校正后；
20.图7中(a)为指针根部图像处理结果，(b)为指针直线拟合和指针根部区域边框拟合；
21.图8为角度法释义图；
22.图9为本发明的整体流程图。
具体实施方式
23.为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
24.本技术是基于发明人对以下问题的认识和发现作出的：
25.工业现场的摄像头通常不能正对仪表，摄像头获取的仪表图像存在一定程度的倾斜或旋转，导致现有的识别方法或技术获得的指针仪表读数精度不高，此外，依靠指针单个相对角度计算指针读数的误差较大。因此，需要在仪表读数识别前对仪表图像进行校正，将刻度值位置变换为正圆，且采用指针多个相对角度加权计算读数，可以提高指针仪表读数的精度。
26.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
27.为此，本发明的一个目的在于提出一种圆形指针式仪表校正和读数识别方法，该方法可以有效提高圆形指针式仪表读数的精度。
28.为达到上述目的，本发明一方面实施例提出了一种圆形指针式仪表校正和读数识别方法，包括：
29.s101、使用深度学习方法检测仪表盘中的刻度值作为关键点；
30.s102、使用最小二乘法拟合关键点椭圆的方法进行仪表的透视校正、透视变换和旋转校正；
31.s103、对指针进行直线拟合，确定指针的方向；
32.s104、计算指针读数。
33.本发明实施例的一种圆形指针式仪表校正和读数识别方法，可以将倾斜和旋转的指针式仪表中的刻度值位置由椭圆变换为正圆，有利于提高指针仪表读数识别的精度。
34.另外，根据本发明上述实施例的一种圆形指针式仪表校正和读数识别方法还可以具有以下附加的技术特征：
35.进一步地，在本发明的一个实施例中，还包括：采用目标检测算法检测和识别指针仪表刻度上的数字，将所述检测和识别的数字作为指针仪表的关键点。
36.进一步地，在本发明的一个实施例中，还包括：计算仪表盘刻度所在的椭圆方程，根据椭圆和圆的关系，得到透视变换矩阵，将仪表盘透视校正为正圆；利用起止刻度值连接线与坐标的相对角度来实现仪表盘的旋转校正。
37.进一步地，在本发明的一个实施例中，还包括：通过对指针进行直线拟合，确定指针方向；使用校正后刻度值正圆中心与指针尖和左右相邻刻度值之间的夹角计算读数。或
者根据指针尖左右邻近的四个刻度值，组成四组数据，根据距离赋予不同的权重，然后进行加权求和得到精确的刻度值。
38.实施例1：
39.下面参照附图描述根据本发明实施例提出的一种圆形指针式仪表校正和读数识别方法及装置，首先将参照附图描述根据本发明实施例提出的一种圆形指针式仪表校正和读数识别方法。
40.图1、9是本发明一个实施例的一种圆形指针式仪表校正和读数识别方法的流程图。
41.如图1所示，该一种圆形指针式仪表校正和读数识别方法包括以下步骤：
42.在步骤s101中，使用深度学习方法检测仪表盘中的刻度值作为关键点。
43.其中，在本发明的一个实施例中，采用卷积神经网络，包括但不限于yolov5算法检测仪表盘中的刻度值。
44.算法输入是待检测图像；网络输出为各刻度数值的类别、中心点位置和检测框的宽度和高度，检测结果如图2所示。
45.在步骤s102中，所述使用最小二乘法拟合刻度值椭圆的方法进行仪表校正，包括透视校正、透视变换和旋转校正，其中：
46.透视校正是采用最小二乘法和所述关键点进行椭圆拟合，近似得到以关键点为基准的椭圆，关键点椭圆拟合的结果如图3所示。具体的
47.椭圆的一般方程见下式
48.ax2+bxy+cy2+dx+ey+1＝0
ꢀꢀ
(1)
49.以图像左上角为原点，原点左侧为x正轴方向，原点下方为y轴正方向建立直角坐标系。对检测到的仪表的关键点进行拟合，就是采用最小二乘法计算参数a，b，c，d，e的值，使得检测到的所有关键点在尽可能满足(1)式要求，即使得式(2)最小
[0050][0051]
其中n表示检测到的刻度值个数，(xi，yi)表示检测到的第i个关键点坐标。
[0052]
进一步对其进行透视变换，将前述拟合的椭圆变换为正圆。透视变换需要4组变换前后对应的关键点，且任意三个关键点不共线。因此需要到透视前关键点的集合{s1，s2，s3，s4}和对应的透视后关键点的集合{s
′1，s
′2，s
′3，s
′4}，计算透视变换矩阵的步骤如下：
[0053]
s201、确定长轴和短轴的直线方程
[0054]
由下式可以得到椭圆的几何中心(xc，yc)
[0055][0056]
由下式得到椭圆的长轴a和短轴b的长度
[0057][0058]
由下式计算椭圆长轴的水平倾斜角度
[0059][0060]
根据长轴的水平角度可以得到长轴所在直线的斜率kb＝arctanθ，则短轴的直线斜率则长轴和短轴的直线方程分别为
[0061]
y＝kbx+y
c-kbxcꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0062]
y＝kax+y
c-kaxcꢀꢀꢀ
(7)
[0063]
s202、进一步计算长轴和短轴分别与椭圆和圆的交点集合
[0064]
由椭圆中心(xc，yc)和长轴b确定的椭圆外切圆方程为
[0065]
(x-xc)2+(y-yc)2＝b2ꢀꢀꢀ
(8)
[0066]
则根据长轴和短轴的直线方程(1)、(6)、(7)计算其与椭圆的交叉点，即透视前关键点集合{s1，s2，s3，s4}。根据长轴和短轴的直线方程(6)、(7)、(8)计算其与椭圆外切圆的交叉点，即透视后的关键点集合{s
′1，s
′2，s
′3，s
′4}，如图4所示。
[0067]
s203、根据透视前后关键点集计算透视变换矩阵p
[0068]
透视变换的完整形式如下式所示
[0069][0070]
其中(u，v，w)是原始图像中的二维齐次坐标，(x，y，w
′
)是透视变换后的二维齐次坐标，w＝1；则使用下式来计算透视变换后的二维平面坐标(x
′
，y
′
)。
[0071][0072]
将透视前后的四组关键点坐标{s1，s2，s3，s4}和{s
′1，s
′2，s
′3，s
′4}代入式(10)，令a
33
＝1；解方程得到8个参数值，从而得到透视变换矩阵p。
[0073]
进一步，所述旋转校正是利用圆形指针仪表起始刻度值与终止刻度值的连接线与水平坐标轴的相对角度来实现仪表盘的旋转校正，旋转角度示意图如图5所示。
[0074]
步骤如下：
[0075]
s301、计算透视变换后新的刻度值坐标
[0076]
使用式(10)计算图像透视变化后起始刻度值坐标(xs，ys)和终止刻度值坐标(xe，ye)。
[0077]
s302、计算起止刻度值所在的直线角度k
l
[0078][0079]
s303、计算起止刻度值坐标的中点坐标(x
se
，y
se
)
[0080][0081]
s304、计算起止刻度值所在直线相对于水平坐标轴的角度δ＝arctan k
l
ꢀꢀꢀ
(13)
[0082]
s305、对于角度δ只是将起止刻度值旋转为水平角度，起止刻度值连线在圆心上面时，此时并没有将仪表盘旋转正，因此使用下式计算旋转校正角度β
[0083][0084]
s306、计算旋转矩阵r
[0085][0086]
s307、使用下式计算旋转后的坐标点
[0087]
[x
″
，y
″
，w
″
]＝[x
′
，y
′
，w
′
]r
ꢀꢀꢀ
(16)
[0088]
其中，(x
′
，y
′
)是透视后的新坐标点，(x
″
，y
″
)是旋转后的坐标点，且w
″
＝w
′
＝1，校正后的结果如图6所示。
[0089]
在步骤s103中，对指针进行直线拟合进一步包括：
[0090]
对于透视校正后的图像，采用自适应阈值法来获取仪表指针根部感兴趣区域；使用先腐蚀后膨胀的办法去除图像阈值处理后的噪声，扩张指针根部感兴趣区域；最后，使用现有的区域边界搜索算法来确定指针根部感兴趣区域的外接矩形和外接椭圆。外接椭圆长轴方向代表了指针直线，如图7所示。
[0091]
进一步，需要确定指针的方向。首先，按式(6)、(7)、(8)计算指针直线与关键点拟合的圆的两个交点pa和pb；进一步根据外接矩形计算指针根部区域中心点o的坐标；进一步计算中心点o与交点pa和pb的距离；其中距离点o最远的点p
min
就是指针尖点，则圆心(xc，yc)和p
min
的连线即为指针根部指向针尖的方向。
[0092]
在步骤s104中，计算指针读数是使用仪表指针尖点和相邻左右刻度值之间的夹角来计算指针读数，如图8所示。α是间于邻近两个刻度值相对于圆心的角度，γ是指针直线与
其中较小刻度值和圆心连线的角度。则指针对数计算公式如下
[0093][0094]
其中p
l
是指针直线相邻较小的刻度值，pr是指针直线相邻较大的刻度值，v是最终的读数。
[0095]
在步骤s104中，计算指针读数进一步包括：
[0096]
消除误差，取指针直线左右邻近的四个刻度值，分别为p
l2
，p
l1
，p
r1
，p
r2
，p
l2
＜p
l1
≤p
r1
＜p
r2
，且指针直线位于p
l1
，p
r1
之间，则组成四组数据，分别是(p
l1
，p
r1
)、(p
l2
，p
r1
)、(p
l1
，p
r2
)、(p
l2
，p，2)。根据刻度值距离指针直线距离大小依序赋予权重，距离最大权重最小。四组数据对应的权重分别为0.4、0.25、0.25和0.1，则加权后的指针读数按下式计算
[0097][0098]
其中，w＝(0.4，0.25，0.25，0.1}，wi∈w，(γi，αi)是第i组数据对的角度值，k1，k2＝1，2。
[0099]
本发明提供一种圆形指针式仪表校正和读数识别方法，可以将倾斜和旋转的指针式仪表中的刻度值位置由椭圆变换为正圆，有利于提高指针仪表读数识别的精度。
[0100]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

技术特征：

1.一种圆形指针式仪表校正和读数识别方法，其特征在于，该方法包括如下步骤：s101、使用深度学习方法检测仪表盘中的刻度值作为关键点；s102、使用最小二乘法拟合关键点椭圆的方法进行仪表的透视校正、透视变换和旋转校正；s103、对指针进行直线拟合，确定指针的方向；s104、计算指针读数。2.如权利要求1所述的圆形指针式仪表校正和读数识别方法，其特征在于，所述步骤s1中，采用卷积神经网络检测仪表盘中的刻度值。3.如权利要求2所述的圆形指针式仪表校正和读数识别方法，其特征在于，卷积神经网络为y0l0v5算法，算法输入是待检测图像；网络输出为各刻度数值的类别、中心点位置和检测框的宽度和高度。4.如权利要求1-3任一项所述的圆形指针式仪表校正和读数识别方法，其特征在于，所述步骤s102中的透视校正是采用最小二乘法和所述关键点进行椭圆拟合，近似得到以关键点为基准的椭圆，包括：椭圆的方程见下式ax2+bxy+cy2+dx+ey+1＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)以图像左上角为原点，原点左侧为x正轴方向，原点下方为y轴正方向建立直角坐标系；对检测到的仪表的关键点进行拟合，采用最小二乘法计算参数a，b，c，d，e的值，使得检测到的所有关键点使得式(2)最小：其中n表示检测到的刻度值关键点的个数，(x
i
，y
i
)表示检测到的第i个关键点坐标。5.如权利要求4所述的圆形指针式仪表校正和读数识别方法，其特征在于，所述步骤s102中的透视变换是指将拟合的椭圆变换为正圆，计算透视变换矩阵的步骤如下：s201、确定长轴和短轴的直线方程由下式得到椭圆的几何中心(x
c
，y
c
)由下式得到椭圆的长轴a和短轴b的长度由下式计算椭圆长轴的水平倾斜角度θ
根据长轴的水平角度得到长轴所在直线的斜率k
b
＝arctanθ，则短轴的直线斜率则长轴和短轴的直线方程分别为y＝k
b
x+y
c-k
b
x
c
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)y＝k
a
x+y
c-k
a
x
c
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)s202、计算长轴和短轴分别与椭圆和圆的交点集合由椭圆中心(x
c
，y
c
)和长轴b确定的椭圆外切圆方程为(x-x
c
)2+(y-y
c
)2＝b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)则根据长轴和短轴的直线方程(1)、(6)、(7)计算长轴和短轴与椭圆的交叉点，即透视前关键点集合{s1，s1，s3，s4}；根据长轴和短轴的直线方程(6)、(7)、(8)计算长轴和短轴与椭圆外切圆的交叉点，即透视后的关键点集合{s
′1，s
′2，s
′3，s
′4}；s203、根据透视前后关键点集计算透视变换矩阵p透视变换的完整形式如下式所示其中(u，v，w)是原始图像中的二维齐次坐标，(x，y，w
′
)是透视变换后的二维齐次坐标，w＝1；则使用下式来计算透视变换后的二维平面坐标(x
′
，y
′
)；将透视前后的四组关键点坐标{s1，s1，s3，s4}和{s
′1，s
′2，s
′3，s
′4}代入式(10)，令a
33
＝1；解方程得到8个参数值，从而得到透视变换矩阵p。6.如权利要求5所述的圆形指针式仪表校正和读数识别方法，其特征在于，所述步骤s102中，旋转校正是利用圆形指针仪表起始刻度值与终止刻度值的连接线与水平坐标轴的相对角度来实现仪表盘的旋转校正，步骤如下：s301、计算透视变换后新的刻度值坐标使用式(10)计算图像透视变化后起始刻度值坐标(x
s
，y
s
)和终止刻度值坐标(x
e
，y
e
)；s302、计算起止刻度值所在的直线角度k
l
s303、计算起止刻度值坐标的中点坐标(x
se
，y
se
)
s304、计算起止刻度值所在直线相对于水平坐标轴的角度δδ＝arctank
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)s305、对于角度δ只是将起止刻度值旋转为水平角度，起止刻度值连线在圆心上面时，此时并没有将仪表盘旋转正，因此使用下式计算旋转校正角度βs306、计算旋转矩阵rs307、使用下式计算旋转后的坐标点[x
″
，y
″
，w
″
]＝[x
′
，y
′
，w
′
]r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)其中，(x
′
，y
′
)是透视后的新坐标点，(x
″
，y
″
)是旋转后的坐标点，且w
″
＝w
′
＝1。7.如权利要求6所述的圆形指针式仪表校正和读数识别方法，其特征在于，所述步骤s103中，对指针进行直线拟合包括：对于透视校正后的图像，采用自适应阈值法来获取仪表指针根部感兴趣区域；使用先腐蚀后膨胀的办法去除图像阈值处理后的噪声，扩张指针根部感兴趣区域；最后，使用区域边界搜索算法来确定指针根部感兴趣区域的外接矩形和外接椭圆，外接椭圆长轴方向代表了指针直线。8.如权利要求7所述的圆形指针式仪表校正和读数识别方法，其特征在于，所述步骤s103中，确定指针的方向包括：首先，按式(6)、(7)、(8)计算指针直线与关键点拟合的圆的两个交点p
a
和p
b
；根据外接矩形计算指针根部区域中心点o的坐标；计算中心点o与交点p
a
和p
b
的距离；其中距离点o最远的点p
min
就是指针尖点，则圆心(x
c
，y
c
)和p
min
的连线即为指针根部指向针尖的方向。9.如权利要求8所述的圆形指针式仪表校正和读数识别方法，其特征在于，所述步骤s104中，计算指针读数是使用仪表指针尖点和相邻左右刻度值之间的夹角来计算指针读数，α是间于邻近两个刻度值相对于圆心的角度，γ是指针直线与邻近两个刻度值中较小刻度值和圆心连线的角度，则指针对数计算公式如下其中p
l
是指针直线相邻较小的刻度值，p
r
是指针直线相邻较大的刻度值，v是最终的读数。
10.如权利要求8所述的圆形指针式仪表校正和读数识别方法，其特征在于，所述步骤s104中，计算指针读数包括：消除误差，取指针直线左右邻近的四个刻度值，分别为p
l2
，p
l1
，p
r1
，p
r2
，p
l2
＜p
l1
≤p
r1
＜p
r2
，且指针直线位于p
l1
，p
r1
之间，则组成四组数据，分别是(p
l1
，p
r1
)、(p
l2
，p
r1
)、(p
l1
，p
r2
)、(p
l2
，p
r2
)；根据刻度值距离指针直线距离大小依序赋予权重，距离最大权重最小；四组数据对应的权重分别为0.4、0.25、0.25和0.1，则加权后的指针读数按下式计算其中，w＝{0.4，0.25，0.25，0.1}，w
i
∈w，(γ
i
，α
i
)是第i组数据对的角度值，k1，k2＝1，2。

技术总结

本发明涉及一种圆形指针式仪表校正和读数识别方法，属于圆形指针式仪表校正和读数识别方法领域。本发明使用深度学习方法检测仪表盘中的刻度值作为关键点；使用最小二乘法拟合关键点椭圆的方法进行仪表的透视校正、透视变换和旋转校正；识别指针角度；计算指针读数。本发明提供一种圆形指针式仪表校正和读数识别方法，可以将倾斜和旋转的指针式仪表中的刻度值位置由椭圆变换为正圆，有利于提高指针仪表读数识别的精度。读数识别的精度。读数识别的精度。