过煤量激光图像智能监测技术研究
时间：2022-02-14 来源：中国煤炭杂志官网 分享：★ 科技引领 ★
过煤量激光图像智能监测技术研究
0 引言
带式输送机承担着矿井原煤输送的重要任务，作为煤矿主运输系统的关键装备，其运行状态和运量监测对煤矿安全高效生产具有重要意义[1]。近年来，随着煤矿智能化建设的不断推进，主运输系统智能化、无人化已成为未来技术发展的主流方向，为了实现带式输送机的状态智能感知和运速精准调控，需要对其运输过煤量进行实时监测[2]，从而最大限度地避免带式输送机过载或空转，做到多拉快跑、节能降耗。目前，国内外学者针对这一问题已开展了部分基础性研究[3]，但由于煤矿井下极端恶劣的工况条件，给带式输送机过煤量精准监测带来了巨大挑战。
李红伟[4]测量了主运输煤流的宽和高这2个参数，在满足精度的前提下使检测方法简单、稳定。陈湘源[5]设计了一种基于超声波的带式输送机多点煤流量监测系统，利用超声波传感器获取带式输送机高速运行下的煤高、煤堆截面积等参数信息。杨育坤[6]提出了一种基于激光测距原理的带式输送机煤流量检测的设计方案，利用激光测距仪采集输送带表面和煤流的横向轮廓数据，并实时计算煤流量。郭伟东等研究人员[7]提出了一种基于机器视觉的矿井输煤系统优化节能控制方法，利用实时煤流图像来获得瞬时煤流量。代伟等研究人员[8]利用小波变换和K-means算法分别对煤炭图像进行增强和分割，然后通过Delaunay算法与T-S模糊推理算法计算出煤流相关信息。李克伟[9]基于激光三角测距原理对煤量测量进行了相关研究，开发了煤量测量算法。Schoch[10]设计了一种新型的基于激光三角测量的坐标测量系统，能够对复杂形状零件在高温下进行整体三维测量。
综上所述，目前针对煤流量测量的研究中涉及激光图像处理的研究相对较少，本文采用直射式激光三角测量原理，进行了激光过煤量监测图像处理算法研究，并通过提前对采集的图像进行清晰度评价，提高测量精度。
1 激光直射测量原理
激光发射器固定在被测物体正上方，激光线垂直投射于被测物体表面，相机则固定在斜上方与激光器成一定夹角。激光器射出的光线遇到被测物体反射到相机的图像传感器上，图像传感器上光点的位置与被测物体高度具有唯一的对应关系。由几何光学关系可知，根据图像传感器上光点移动的距离便可得到被测物体的深度信息。直射式激光三角测量原理如图1所示。
图1 直射式激光三角测量原理
图1中，CA为激光线的入射光路，β为入射光CA与反射光AB之间的夹角，该夹角可由角度传感器测得；h表示三维坐标系下被测物体的实际高度；H表示镜头中心与载物参考面之间的垂直距离；相机光轴与图像传感器交于O1点，OO1表示CCD相机成像中心与镜头之间的距离；O1C1表示CCD相机成像平面上激光点相对于基准参考图像的光斑偏移距离，D点为C点相对OA直线的垂足点。
根据三角形相似原理，可知△BOC～ △O1OC1，则待测物体表面的激光光斑点C距离镜头轴线的垂直距离见式(1)：
(1)
式中：OD——垂足点D距离镜头的距离，m；
OA——参考平面上的激光光斑点A距离镜头的距离，m；
DA——垂足点D距离参考平面上激光光斑点A的距离，m。
在△ACD中，设被测物体实际高度AC=h，则有DC=h·sin β，同理可得DA=h·sin β。
因为
令O1C1=h′,OO1=ν，则被测物体实际高度见式(2)：
(2)
2 实验系统设计
2.1 实验系统整体架构
实验系统由硬件和软件组成，硬件主要包括相机、镜头、激光器等；软件主要包括图像处理、参数测量等。基于视觉原理进行堆煤参数实验测量系统的整体设计，设计方案框架如图2所示。
图2 实验测量系统设计方案框架
为了保证系统的安全性，需要将视觉测量系统置于密闭性较好的隔爆壳中。相机和激光器分别固定在型材骨架的移动机构和旋转机构上，便于调整相机与激光器之间的距离和激光器相对于竖直平面的角度。因实验室环境无需防爆，同时为方便实验测量，去除防爆箱体，并采用支架代替悬挂装置。选择加工公司进行实验台架加工，最终搭建的实验测量系统装置如图3所示。
图3 实验测量系统装置
2.2 图像采集装置选型
相机的传感器类型、数据接口、分辨率和镜头的焦距、光圈、景深等参数均会影响煤流参数测量的精度[11-12]。相机的传感器类型主要有CCD与CMOS这2种，这2种传感器各有优点。其中，CCD相机的噪声系数低、填充系数高，而CMOS相机的结构简单、数据传输快、读取速度快、动态范围大。工业相机常用的数据接口主要有GigE与USB 3.0，USB 3.0接口的相机数据传输速率可以达到5 Gbps，是GigE的4倍，且无需外加辅助设备，成本低、效率高。
本文研究对象为带式输送机上动态煤流，为了能够更快地处理和传输数据，提高处理效率与检测精度，选用CMOS传感器、USB 3.0数据传输接口的相机更为合理。另外，相机分辨率越高，像素越密集、图像越清晰、检测精度也越高，但同时价格也更昂贵，成本更高。光学镜头的焦距是指镜头的光学中心到成像面焦点的距离，是镜头选型最为重要的参数指标，可根据工作距离、视角确定，但镜头失真现象随着焦距的减小而增大，特别针对本研究中存在图像测量工作，失真现象越小越好，因此不考虑选择小于8 mm的小焦距镜头。
本文选择研究运输过程中带式输送机上的堆煤参数，实验用带式输送机宽为80 cm，高为50～70 cm。综合本文视觉测量系统需要完成对带式输送机上煤堆轮廓方面测量的具体情况，并根据上述硬件选型依据，选用了CMOS传感器类型、USB3.0数据传输接口、分辨率为1920×1200像素的MER-230-168U3M/C面阵相机和焦距为12.5 mm、最大光圈比为1∶1.4、光圈系数可调范围为f1.4～f16的V1214-MP镜头进行组合。
2.3 激光光源选型
选用合适的照明装置是机器视觉测量系统的重要一步，视觉系统中常用的光源及其相关特性[13]见表1。
由表1可以看出，激光光源的方向性强、亮度高、平均寿命长等特点适合用于煤矿井下复杂环境。因此，本文选择24 V的SL-660-130-S-C-45激光器作为此视觉测量系统的光源，其波长为660 nm。
表1 常用的光源及其相关特性
类型颜色平均寿命/h亮度特性卤素灯白、浅黄1 000很亮发热大成本低LED灯红、黄、绿、白、蓝10 000亮功耗低、发热小、寿命长、成本低氙灯白、浅绿1 000亮光照强度高,可连续快速点亮激光随波长变化50 000亮良好指向性、颜色单一性
2.4 实验系统软件设计
在机器视觉的图像处理领域，软件系统的运行稳定性、执行效率、开发周期至关重要。其中，HALCON是被广泛使用的机器视觉软件，它提供了一些助手和可视工具以及编程提示，具有使编程和修改变得容易、开发周期短、开发成本低、稳定性好、支持多种操作系统和多种编程语言等特点。基于本文的需求，软件平台采用HALCON算法库进行图像处理，利用VS2010对带式输送机参数的实时监测进行人机交互界面设计。
3 激光图像处理技术
3.1 图像清晰度评价
在实验过程中，由于光照不均匀等因素的影响，使得采集到的图像质量也好坏不一，为了提高测量精度，在进行测量前需要对采集图片进行清晰度评价[14]。
由于清晰的聚焦图像比模糊的离焦图像中特征边缘更锐利、边缘像素的灰度变化更大，因此具有更大的梯度值，那么可以基于梯度对图像进行清晰度评价，常见的梯度函数有EOG能量梯度函数、Tenengrad函数、Variance方差函数、拉普拉斯Laplace函数等。另外，可以将空域中的图像转换为频域进行清晰度评价，频域可以更方便地分析图像频率分布信息，其中DCT离散余弦变换函数是常用函数之一。基于信息熵也可构造清晰度评价函数，因为聚焦图像中的像素灰度分布多样性更大，像素灰度值分布的区间更广，即熵值更大，常用函数为entory函数。基于统计学的清晰度评价函数有Range函数，是基于灰度直方图中灰度带的变化大小进行统计学分析，最终反映出图像清晰度。
为了选择最优的清晰度评价函数，随机选择采集图像中的9幅，通过上述7种图像清晰度评价函数对这9幅图像进行评价，不同函数清晰度评价结果如图4所示，不同函数清晰度评价均值见表2。
图4 不同函数清晰度评价结果
表2 不同函数清晰度评价均值
序号评价函数归一化均值1EOG0.4822Tenengrad0.6133Variance0.4234Laplace0.6275DCT0.6816Range0.7257entory0.621
如图4所示，采用Laplace函数、DCT函数和Range函数进行图像清晰度计算的结果偏差较小、灵敏度较高。又根据表2中不同函数清晰度评价均值可知，Range函数比其他清晰度评价函数的归一化均值都大。针对本研究的图像模型，在7种不同的图像清晰度评价函数中，Range函数的单峰性最好，归一化均值最大，无偏性与灵敏度也较高，是最优的图像清晰度评价函数。此外，在实际计算过程中Range函数也最为简单。综上所述，采用Range函数对采集的所有图像进行图像清晰度评价。根据最终评价结果选择最优帧图像进行煤流截面轮廓的测量，最优帧图像如图5所示。
图5 最优帧图像
3.2 图像预处理
煤矿井下复杂的工作环境会对工业相机拍摄的照片带来严重噪声，这会严重影响煤堆截面激光线轮廓的清晰度，因此需要对采集的图像进行滤波去除由环境等因素造成的模糊，提高图像的抗干扰能力。中值滤波是一种能够有效抑制噪声的非线性处理技术，可以有效消除图像中的孤立点。 滤波后图像直方图中的灰度值主要集中在低亮度级的一个窄区域，这对于图像的边缘检测以及特征提取是及其不利的。为了提高图像对比度，加快图像处理的效率和提高测量精度，还需要对图像进行图像增强。
4 煤流截面轮廓计算
4.1 激光条纹有效区域分割
为了提高激光中心线的提取精度和效率，需要分割出包含激光中心线的有效区域，其中边缘检测和阈值分割是有效区域分割两个关键步骤。目前，John Canny[15]提出的一种新的边缘检测算子被广泛使用于图像的边缘检测，通过HALCON算法库中edges_sub_pix()算子可以实现，获取的煤堆上激光线轮廓边缘如图6所示。
图6 激光线轮廓边缘
采用threshold()算子进行阈值分割，将背景与目标分离，由于光照等因素的影响使目标区域中夹杂着一些无用信息，因此需要使用connection()算子将一幅图像分割成一组任意的、不相连的区域，然后基于区域横纵坐标等因素剔除无效背景，仅留下激光线所在的有效区域，并通过Union1()算子合并区域，图像分割最终效果如图7所示。
图7 图像分割最终效果
4.2 激光中心线提取
采用常用的灰度重心法、Hessian矩阵法和区域骨架法这3种不同方法，分别进行中心线提取，每一种激光条纹中心线的提取算法各有利弊，考察每种算法的提取速度、提取精度、复杂度、方向性等特点，对其不同算法进行总结对比，对比结果见表3。
从表3可以看出，灰度重心法和Hessian矩阵法提取条纹中心线都比较复杂，并且灰度重心法的方向性和断点拟合效果都比较差；Hessian矩阵法由于复杂度的影响，导致中心线提取的效率较低，且会丢失部分激光线的细节；区域骨架法提取激光中心线精度和效率都比较高，且算法较为简单，因此本文采用区域骨架法来提取激光中心线。
表3 不同中心线提取结果对比
提取方法提取速度提取精度方向性拟合效果复杂度灰度重心法较快亚像素差一般较复杂Hessian矩阵法慢亚像素好好较复杂区域骨架法快亚像素好一般简单
4.3 条纹断线修补
基于区域骨架的提取算法因环境和煤块自身特征等因素，使得打在煤堆上的激光线不可避免地发生断裂，因此需要对断裂处进行修补。采用三次样条插值法和形态学处理法2种方法进行断点修补的效果如图8所示。
由图8可以看出，基于形态学处理的算法很好地拟合了激光中心线的断裂，且不改变激光条纹形状，并兼顾了测量精度，因此本文采用形态学处理法来进行断点修补。
图8 不同方法断点修补的效果
5 煤流量实验测量
基于上述图像处理算法和实验系统布置，通过图像系统获取在带式输送机空转下的激光中心线作为基准线，然后在带式输送机上放置煤样并进行图像实时采集，获取不同帧下煤堆的中心线，并显示在一张界面上构成封闭图形，堆煤轮廓线如图9所示。
图9 堆煤轮廓线
在实验室环境中对带式输送机上堆放不同数量的煤堆分别进行三维形貌的重建，煤流轮廓三维重建效果如图10所示。
图10 煤流轮廓三维重建效果
由图10可以看出，带式输送机上煤堆的三维重建结果和煤块颗粒大小、煤块颗粒的梯度以及煤块间的间隙有关，若煤块的梯度较大或者煤块颗粒间的间隙较大，重建的三维轮廓无法形成无断裂的煤堆形状包络线。
6 结语
基于激光三角法原理开展了煤堆截面轮廓的在线测量，取得的进展如下。
(1)根据视觉测量原理和实际工况设计了煤流多参数在线测量系统，针对煤堆轮廓图像进行预处理提高图像的对比度。
(2)针对图像增强后的煤堆轮廓图像进行了有效区域的分割和中心线提取操作，提高了激光中心线的提取效率。
(3)针对中心线提取过程中存在的断裂现象，进行了不同的断线修补操作，发现形态学处理法进行激光线断点连接不改变激光条纹细节且拟合完整。
[1] 王联合, 高会岐, 李红选, 等.带式输送机中间转载装置设计研究[J].煤矿机械, 2016, 37(2): 106-107.
[2] 陈以号.输煤系统皮带机有效输送量现状及改进分析[J].决策探索(中), 2018(11):18-19.
[3] 李纪栋, 蒲绍宁, 翟超, 等.基于视频识别的带式输送机煤量检测与自动调速系统[J].煤炭科学技术, 2017, 45(8): 212-216.
[4] 李红伟.基于机器视觉的智能输煤检测系统[D].哈尔滨：哈尔滨工业大学, 2019.
[5] 陈湘源.基于超声波的带式输送机多点煤流量监测系统设计[J].工矿自动化, 2017, 43(2):75-78.
[6] 杨育坤.激光测距原理的带式输送机监控系统中煤流量检测的研究[D].天津:天津工业大学, 2019.
[7] 郭伟东, 李明, 亢俊明, 等.基于机器视觉的矿井输煤系统优化节能控制[J].工矿自动化, 2020, 46(10):69-75.
[8] 代伟, 赵杰, 杨春雨, 等.基于双目视觉深度感知的带式输送机煤量检测方法[J].煤炭学报, 2017，42 (S2): 547-555.
[9] 李克伟.基于机器视觉技术的带式输送机输送量检测系统的应用与研究[D].沈阳:东北大学, 2014.
[10] Schch A, Salvadori A, Germann I, et al.High-Speed Measurement of Complex Shaped Parts at Elevated Temperature by Laser Triangulation[J].International Journal of Automation Technology, 2015, 9(5): 558-566.
[11] 李玉海, 宋大鹏, 韩明钦.面阵与线阵数字航空摄影机的区别[J].华东科技(学术版), 2015(5): 470-470.
[12] 杨明, 白烨, 王秋良, 等.面阵CCD摄像机光学镜头参数及选用[J].光电子技术与信息, 2005(3): 27-30, 43.
[13] 杨淋, 周肇飞, 张涛, 等.线阵CCD在高精度测量系统中的照明选择[J].中国测试, 2002, 28(5): 20-22.
[14] 严锦雯, 贾星伟, 隋国荣, 等.图像清晰度评价函数的研究[J].光学仪器, 2019, 41(4): 54-58.
[15] Canny J.A computational approach to edge detection.IEEE Transactions on Pattern Analysis and Machine Intelligence[J].1986, 9(3): 58-66
Research on laser image intelligent monitoring technology for coal passing quantity
移动扫码阅读
YANG Guangyao, MAO Kaijiang, HU Eryi，et al.Research on laser image intelligent monitoring technology for coal passing quantity [J].China Coal，2021，47(10):49-55.doi:10.19880/j.cnki.ccm.2021.10.008
- 相关推荐
