基于双目视觉的掘进机器人定位定向方法研究(2)

基于最大类间方差法(Otsu)对巷道空间图像进行分割，将分割后图像进行锐化增强、线性灰度变换增强与Sobel算子的边缘检测，提取图像边缘、角点等特征，分析图像信息中的明暗、纹理等信息。基于巷道空间图像信息，建立掘进机器人空间定位数学模型，求解掘进机器人空间位置坐标位置及空间坐标关系，如图3所示，为基于双目视觉图像信息的掘进机器人定位系统方案。

图3 掘进机器人定位定向系统总体方案Fig.3 Overall scheme of the positioning and orientationsystem of the roadheader robot

2.1巷道空间图像特征提取及分析方法

为将巷道空间特征进行区分及处理，首先对图像各部分不同的特征信息进行分割，再将特征信息进行锐化、增强等处理。目前的分割方法有阈值、区域、边缘和特定理论分割法等，如图4所示，进行巷道空间图像的增强、分割、检测与识别等处理，准确的表达图像特征信息，为三维虚拟环境的建模提供图像信息数据描述。

图4 巷道空间图像处理流程Fig.4 Tunnel space image processing flow

文中用到的Otsu法将采集的巷道空间图像进行放大差值处理，获取巷道空间环境中不同物体的特性，如图5所示，为基于Otsu法图像分割及特征提取流程。

图5 基于Otsu法图像分割及特征提取算法Fig.5 Image segmentation and feature extractionalgorithm based on Otsu method

设图像函数为二值函数I(x,y)，T为前景和背景图像数据分割阈值；ω0为目标像素点数占整幅图像的比例；ω1为背景像素点数占整幅图像的比例；μ0为目标像素点平均灰度；μ为背景像素点平均灰度，则输出图像g为

式中ω0+ω1=1，g为类间方差。

通过研究图像采集系统及图像分割技术、图像处理技术，建立基于Otsu法的图像信息处理数学模型和图像特征提取数学模型，得到了所需要的图像信息，为掘进机器人在煤矿巷道中的空间位置的确定和掘进机器人空间定位坐标系的设定提供理论基础，同时也为掘进机器人空间定位数学模型提供初始的数据依据。

2.2建立掘进机器人空间定位坐标系模型

2.2.1 掘进机器人与巷道空间的坐标关系定义

如图6所示，建立某型号掘进机器人相对巷道空间的坐标系及其坐标关系。

图6 掘进机器人空间坐标系建立Fig.6 Establishment of space coordinatesystem of roadheader robot

X轴代表水平方向即垂直巷道延伸方向(掘进机器人偏移方向)，前进方向的右边为正；Y轴代表前进方向即巷道延伸方向(掘进机器人掘进方向)，前进方向为正；Z轴代表竖直方向即巷道起伏方向(掘进机器人俯仰方向)，前进方向的上面为正。

2.2.2 视觉系统与掘进机器人的坐标关系定义

结合图6掘进机器人与巷道空间的坐标关系，设计视觉定位安装与采集方法，如图7所示，简化掘进机器人模型、巷道空间模型并建立视觉系统与掘进机器人的坐标关系。

图7 掘进巷道环境下双目视觉系统坐标示意图Fig.7 Coordinate diagram of the binocular visionsystem in the tunneling environment

以双目视觉采集为坐标系中心建立的坐标轴。图中前进方向与掘进机器人视觉采集系统方向相反，所以掘进机器人的图像采集和掘进机的前进方向在空间直角坐标系上具有X与X′轴相同、Y与Y′轴相反、Z与Z′轴相同，如图8所示，为视觉系统关于掘进机器人的坐标关系。

图8 视觉系统与掘进机器人的坐标关系Fig.8 Coordinate relationship between the visionsystem and the roadheader robot

2.3掘进机器人定位定向模型

2.3.1 掘进机器人定向模型建立

通过巷道空间图像提取与识别后，将重构的巷道环境进行坐标系标定，如图9所示为实验室环境下采集并处理后模拟巷道空间图像，通过特征提取获得图9中的目标巷道矩形框，该矩形框是以图中最小的阴影边框为边界选取，以矩形框对角线交点为目标巷道矩形框坐标系原点P；以视觉采集系统为掘进机器人相对巷道的坐标系原点O，建立掘进机器人相对巷道坐标系，其O点指向P点为具有方向和距离的线段，从而解算出空间中掘进机器人位置与方向信息。

图9 处理图像后的坐标系标定Fig.9 Coordinate system calibration after image processing

如图9所示X轴、Z轴所指方向均为掘进机器人前进方向。根据图9所示图像信息，以为长方体的对角，在空间直角坐标系各个面的投影点为长方体的顶点，在空间直角坐标系各个面的投影为面上的线段，建立如9所示的空间坐标位置关系图。

文章来源：《立体定向和功能性神经外科杂志》 网址: http://www.ltdxhgnxsjwkzz.cn/qikandaodu/2021/0701/651.html