(10)申请公布号 CN 102096803 A
(43)申请公布日 2011.06.15C N 102096803 A
*CN102096803A*
(21)申请号 201010561552.1
(22)申请日 2010.11.29
G06K 9/00(2006.01)
G06T 7/20(2006.01)G08G 1/16(2006.01)
(71)申请人吉林大学
地址130012 吉林省长春市前进大街2699
号
(72)发明人曲昭伟 李志慧 胡宏宇 陈永恒
宋现敏 魏巍 江晟 薛冠超
魏福禄 胡金辉
(74)专利代理机构长春吉大专利代理有限责任
公司 22201
代理人
齐安全
(54)发明名称
(57)摘要
本发明公开了基于机器视觉的行人安全状态
识别方法，旨在克服现有技术存在无法根据行人
的安全状态制定相应的车辆驾驶行为智能控制决
策的问题。该方法包括如下步骤：车载动态视频
别；运动行人跟踪；车辆前方行人距离检测计算；
车辆实时速度获取；行人安全状态识别。其中：行
人安全状态识别包括如下步骤：临界冲突区域构
建；相对运动过程中行人位于冲突区域外安全状
态判别；相对运动过程中行人位于冲突区域内安
全状态判别。根据上述的步骤利用视觉传感器获
取的机动车与行人的相对速度以及相对位置，预
汽车空调电磁离合器测出行人是否会进入危险区域，并采取相应的策
略避免发生事故。辅助驾驶员采取措施避免与行
人发生碰撞。(51)Int.Cl.
(19)中华人民共和国国家知识产权局(12)发明专利申请
权利要求书 5 页 说明书 13 页 附图 3 页
1.一种基于机器视觉的行人安全状态识别方法，其特征在于，所述的基于机器视觉的
行人安全状态识别方法包括如下步骤：
1)车载动态视频图像的采集
安装在车辆前端的摄像机实时采集车辆前方的行人图像，并将行人图像实时传输给安装有图像处理系统的计算机；
2)车辆前方感兴趣区域行人检测与识别；
新金瓶酶2
3)运动行人跟踪；
4)车辆前方行人距离检测计算；
5)车辆实时速度获取
利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度；
6)行人安全状态识别。
2.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的车辆前方感兴趣区域行人检测与识别包括如下步骤：
1)图像像素梯度方向计算
对于图像中的任意点(x，y)的采用水平梯度算子[-1，0，1]计算水平方向梯度值G
h
(x，
y)和垂直梯度算子[-1，0，1]T计算垂直方向梯度值G
v
(x，y)：
G h (x，y)＝f(x+1，y)-f(x-1，y)；G
v
(x，y)＝f(x，y+1)-f(x，y-1)
由此可得点(x，y)的梯度强度M(x，y)和梯度方向θ(x，y)分别为：
2)统计图像梯度方向直方图
首先计算图像中每个单元和每个块内各个方向的梯度值分布，然后将梯度方向定在0°到180°上分为9段，统计其梯度方向直方图，采用的单元大小为8*8的像素区域，每个块包含2*2个单元，并且一个块的扫描区域移动步长为一个单元的大小，具体的HOG特征提取如下：
(1)统计一个单元上的梯度直方图，即按照梯度值在梯度方向上的投影值累积画出；
(2)统计一个块上的梯度直方图，将单元上的梯度直方图串联起来；
(3)使用二范数归一化每个块的梯度直方图，以此来消除光照的过大影响；
(4)统计一个行人检测样本的HOG特征，即将一个检测样本上的所有块直方图串联起来；
3)行人样本与非行人样本的训练
计算每个行人和非行人检测样本的HOG特征，采用SVM分类器将行人和非行人两类样本特征向量映射到一个高维的空间里，并构建一区分两类样本的最优分类器；
4)感兴趣区域设定及行人的检测与识别
由于只检测识别道路前方的行人，对所拍摄图像只针对行人可能出现的区域做处理，采用多尺度变换方法对图像不同尺寸大小的区域进行扫描，对每一个单元按比例缩放后统计此区域内的梯度方向直方图，利用SVM分类器判断每一个区域HOG特征是否为可以匹配为行人样本HOG特征。
3.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述
的运动行人跟踪包括如下步骤：
1)特征表达
双刀双掷令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，则R的重
心C坐标(x
c ，y
c
)可定义为：
式中：n为R内像素点个数，采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪，利用目标的面积、周长构成紧密度特征，对其形状特性加以约束，R的紧密度S定义为：
式中：A为R的面积，即R内像素点个数n，L为R的周长，即R区域的边界点；利用运动目标的重心、速度、速度变化度、紧密度及紧密度变化对目标的状态进行描述，目标k时刻的状态特征向量可表达为：
X k ＝(C
k
，V
k
，▽V
k
，S
k
，▽S
k
)；
在目标稳定出现于检测区域之后，利用前两个观测时刻的重心位置确定目标的速度，
即：V
x，k ＝x
c，k
-x
c，k-1
，V
y，k
＝y
c，k
-y
c，k-1
。
其中，V
x，k ，V
y，k
分别为x，y方向的初始速度；
2)状态估计
到使匹配距离最小的目标即为被跟踪的目标，受跟踪目标状态估计方程为：
式中：Δt为相邻观测时间间隔，为第L个已跟踪目标第t时刻重心坐标估计值，为第L个已跟踪目标第t-1时刻重心坐标，为t-1时刻匹配建立后对下一时刻的x、y方向预测速度，为已跟踪目标第t时刻的紧密度估计值，为已跟踪目标第t-1时刻的紧密度，为第t-1观测时刻对下一时刻预测的紧密度变化值，ω，ξ为估计误差；
3)特征匹配与更新
对于匹配成功的目标，计算估计值与观测值的匹配误差，在t时刻对目标的速度变化度以及紧密度变化进行更新：
式中：为当前观测时刻与已跟踪目标匹配成功的物体的x、y方向速度变化值，为当前观测的物体速度，为上一时刻对当前时刻的预测速度，为当前观测时刻与已跟踪目标匹配成功的物体的紧密度，α、β分别为0到1的常数；同时对下一
时刻的速度进行更新如下：
声波识别
由此便可以在连续的时间序列上通过迭代算法实现连续跟踪；
4)遮挡处理
网络大容量存储空间采用GM(1，1)灰模型实现遮挡条件下的目标状态特征预测，GM(1，1)模型定义如下：
设有n个原始观测值：U
0＝[u
(1)，u
(2)，u
(3)…，u
(n)]，通过累加可生成新序列U
1
＝[u
1(1)，u
1
(2)，u
1
(3)…，u
1
(n)]，其中，GM(1，1)模型相应
的微分方程：
设为待估参数序列，利用最小二乘法可得：
其中：在得到估计参数之后，求微分方程，即
可得到下列预测模型：
式中，如果当前第K个观测时刻物体未发生匹配，则认为其发
生遮挡。
4.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的车辆前方行人距离检测计算包括如下步骤：
1)假定世界坐标系原点位于地平面上且位于摄像机坐标系原点的正下方；用三脚架将摄像机固定于车辆前挡风玻璃处，量测摄像机光心离地高度为α米，有如下关系：
其中，O
c -X
c
Y
c
Z
c
称为摄像机坐标系。O
w
-X
w
Y
w
Z
w
称为世界坐标系；
2)求得摄像机内部参数
对车辆前方进行标定点的布设，由摄像机光心点为起点，取摄像机正前方的一条直线和与其成任意角度的另一条直线，并对这两条相交直线上的特征点进行标定所得结果即为标定结果；
由于选取标定点的实际距离为已知，利用图像处理获取标定点的图像帧坐标(u，v)。由此求得摄像机内部参数：
根据上述公式利用最小二乘法确定摄像机内部参数a y ，v 0值：
a y (Y W +α)+v 0Z W ＝Z C v
可转化为求最小值问题：
3)依据公式：计算摄像机前方行人距摄像机的距离，以行人足部中心投影为实际检测点。
5.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的行人安全状态识别包括如下步骤：
1)临界冲突区域构建；
2)相对运动过程中行人位于冲突区域外安全状态判别；
(1)行人的运动轨迹不能进入冲突区域则行人处于安全状态；
(2)如果行人的运动轨迹进入冲突区域时，与机动车的距离小于安全距离，则行人处于危险状态；
(3)如果行人的运动轨迹进入冲突区域时，与机动车的距离大于安全距离，则行人处于安全状态；
3)相对运动过程中行人位于冲突区域内安全状态判别处理；
在实际交通中，考虑到车身有一定的宽度且制动以及反应需要一定时间，同时考虑到行人与机动车相对位置的不同，需要分别进行判断处理：
适用于英语(1)对行人已经处在冲突区域，若行人离开冲突区域而未进入危险区域，则不需要采取制动措施；
(2)若行人进入危险区域，则需要采取紧急制动或采取其他措施避免发生事故发生；
(3)若行人仍将留在冲突区域中，
则需要根据行人与机动车的相对位置进行分类处理：
行人p 1虽然在冲突区域中，但由于有足够的距离，机动车不需要采取措施；行人p 2在缓冲区域中，机动车应该采取相应措施避免其进入危险区域，由此可得式
