科技引领
近年来,煤矿带式输送机大量采用变频驱动,液压耦合器驱动的带式输送机也逐渐转变为变频驱动[1]。由于采矿条件和生产环节的特殊性,带式输送机负载是不断变化的。因此,带式输送机经常在轻载或空载状态下长时间全速运行不仅会浪费能源,而且还会造成带式输送机各个运行部分的无效磨损,缩短设备使用寿命[2-3]。
为了节约能源和延长设备使用时间,可以根据带式输送机上的煤量来控制其运行的速度。想要实现这一点,就需要实时检测带式输送机上的载煤量[4-5]。笔者将带式输送机上煤量检测方法分为传统接触式检测方法与非接触式检测方法,并对这2种方法的发展进行了归纳和分析。
传统带式输送机动态煤量计量主要使用机械式胶带秤、电子胶带秤、核子秤3种方式。
(1)机械式胶带秤。美国是最早开始使用机械式胶带秤的国家,赫伯特·梅里克结合重力开发的动态物料重量计量设备被认为是机械式胶带秤的鼻祖[6]。在20世纪40年代,带式输送机运输物料计量技术得到深入推广,直到21世纪50年代,电子胶带秤开始将其全面取代。
(2)电子胶带秤。我国从20世纪60年代中期开始使用电子胶带秤。自改革开放开始,为了有效解决带式输送机物料计量问题,我国开始引入国外电子胶带秤技术,随着相关技术的深入发展,还制定了安装电子胶带秤的相关标准。目前,电子胶带秤仍然是带式输送机计量物料流量的主要方式。然而,影响电子胶带秤动态测量精度的因素较多,包括安装倾角、运行惯性、输送胶带材料、输送胶带重量等,特别是在物料较少的情况下,计量精度不高,误差超过20%。
在煤矿井下,由于工作环境的复杂性,导致电子胶带秤在应用过程中出现2个方面的问题:一是当输送胶带上煤量过少时,电子胶带秤测量精度会大打折扣;二是由煤矿运出的煤块含有大量异物,容易损伤电子胶带秤,增加成本。
(3)核子秤。核子秤是一种非接触式的散装物料在线连续计量和监控装置,主要利用物料对 γ 射线束吸收的原理,对带式输送机传送的散装物料进行在线连续计量。20 世纪 80 年代以来,核子秤技术不断发展,从工业现场应用来看,核子秤具有技术先进、性能可靠、故障率低、运行稳定等特点。尽管核子秤精度较高,但核子秤的校准比较复杂,同时放射性材料会严重影响到人体健康,特别是在密闭的井下作业环境。由于近年来政府越来越关注环境保护,越来越重视安全生产和从业人员的职业健康,相关部门严格评价放射源,尽可能缩减使用放射源场合,这也导致核子秤的应用范围受到限制。
随着机器视觉和图像处理技术高速发展,基于机器视觉的非接触测量法成为煤量检测领域的研究主流[7],非接触式煤量检测主要包括单目视觉检测、双目立体视觉检测、线激光检测3种方法。
单目视觉检测主要通过获取带式输送机不同煤量的运输图像,然后提取图像的特征值,并将输送胶带实时图像中提取的特征值与已有的特征值进行比较,可以得到输送胶带的煤量状态。单目视觉检测虽然简单且应用较多,但是这种方法只能对输送胶带煤量做状态分析,且煤量状态的界定不够清晰,这就导致了数据误差较大,影响控制精度。
关于使用单目视觉检测进行煤量检测研究,最初是通过传统的图像算法提取图像特征,进而实现对煤量的检测。陶伟忠[8]使用传统的人工提取图像特征的方法提取带式输送机上煤流图像的颜色、运动和能量3种特征,将其作为时域、频域特征,同时使时域、频域图像交集计算需求得以保证,再对煤流区域面积进行求解;李纪栋[9]利用图像边缘检测能够求解煤流宽度,利用知识库模糊计算求解出运输量。然而,由于井下昏暗的环境限制使得实验获取的煤流图像含有大量噪声,导致人工特征提取方法的效果较差,从而导致煤量实验最终检测的精度较低,识别效率不高。
在进行带式输送机煤量单目视觉检测技术研究时,相机所拍摄的煤流图像作为唯一的研究目标,受到矿井下灯光、粉尘等环境的影响较大,如何消除或减轻矿井环境影响而得到理想的带式输送机煤流图像,是实现带式输送机煤量检测至关重要的一步。
贺杰[10]等研究人员提出了一种基于图像处理技术的带式输送机煤量测量方法,利用线激光仪和工业摄像机采集带式输送机上的煤流图像,将获取的图像进行滤波去除图像的噪声,再将图像进行二值化处理提取图像信息,最后对预处理后的图像进行膨胀,减少骨架提取的毛刺现象得到煤堆的骨架。将所得的骨架与空载时获得的基线进行比较来形成煤轮廓,计算出带式输送机上煤流截面积,根据带式输送机煤流的截面积与带速的关系,测量输送胶带上煤流体积。基于图像处理技术的煤量检测方案如图1所示。
图1 基于图像处理技术的煤量检测方案
王宗省[11]等研究人员提出一种基于窗口阈值的滤波方法,用来解决因实验获取的图像存在反光问题导致实验结果不准确。该方法能够在有效去除噪声的同时保留边界信息,使用不同反射程度的模板进行EMD匹配解决了边界对比度低、场光源不稳定等问题。经过腐蚀与膨胀后,使用改进的自适应阈值算法进行分割;采用帧间差分法对一次输送胶带的运行状态进行识别以协调控制能耗。基于窗口阈值的滤波方法煤流图像处理流程如图2所示。
图2 基于窗口阈值的滤波方法煤流图像处理流程
虽然上述的方法可以成功的测量带式输送机上的煤流,但图像作为实验中唯一的依据却容易受到实验环境和材料形态的影响。如果使用固定的算法或参数处理图像,容易产生较大的误差。随着深度学习的发展,深度学习被越来越多研究人员应用于各个领域。王桂梅[12]等研究人员以深度学习为基础提出一种新的检测方法,可以直接检测永磁直驱带式输送机的煤量并对其进行分类,并采用迁移学习方法将ImageNet训练的网络模型进行迁移,以弥补训练样本数量相对较少的不足。根据密集连接的思想,提出了FF-CNN网络,在网络的每个组块中连接不同的层。改进后的网络能够自动提取煤流图像特征进行端到端学习,在训练过程中对特征进行重用,减少了梯度消失的问题,实现煤量的检测分类,将煤流图像分为“无煤量”“少煤量”“中煤量”“多煤量”“满载量”5个类别。基于深度学习的煤量检测流程如图3所示。
图3 基于深度学习的煤量检测流程
李东军[13]将深度学习图像处理技术与线性回归模型相结合,通过案例分割算法自适应学习图像特征并提取实例模板,最终建立煤矸石凹陷投影图像面积与物体质量的线性回归方程,以此来计算输送胶带上负载的重量,实现从定性测量到定量测量的转变。
双目立体视觉检测是一种被动三维测量技术,使用2台面阵相机来实现物体的三维测量。 它的优点在于其使用面广,可以在不同的情况下测量目标的三维信息。 而在无法使用结构光照明的情况下其优势更加明显。屈滨[14]等研究人员利用双目相机抓取图像信息,通过拼接对煤场三维曲面进行拟合,这样就可以计算体积,但是由于拼接图像的像素灰度与梯度等有着显著差异,图像中存在显著裂缝,从视觉来看是间断的;高如新[15]等研究人员提出来一种新的煤体积计算方法,通过双目视觉与鲁棒性特征匹配法,将特征点提取出来并求解体积,然而因为特征点是稀疏的,导致体积测量误差较大。
虽然屈滨和高如新的研究能估算出煤量的体积,但是误差较大,毛佳红[16]等研究人员提出了一种新的煤量体积计算方法,通过基于三维重建方法的整体体积测量,利用线性结构光法和双目视觉原理实现物体表面的三维重建。这种方法相较于前2种方法能够很精确地测量出煤的体积。然而在测量过程中,一定要保证扫描仪前进速度,直至扫描全部物体,方可获取表面信息。这一方法在应用时,操作难度较大,同时成本较高,推广难度较大。
代伟[17]提出了以双目视觉深度感知为依托的检测方法,该方法由运煤识别模块、运煤三维信息提取模块和运煤量计算模块3个部分组成。在运煤图像识别模块中,首先采用小波变换算法对运煤图像进行增强,采用K-means聚类算法对运煤图像进行分割,然后运煤物料的三维信息提取模块采用双目视觉的方法获取煤流图像各点的深度信息,从而获得运煤物料的三维点云信息,最后运煤物料的体积计算模块结合Delaunay算法和T-S模糊推理算法得到煤料体积,利用煤料体积计算公式实现煤体积检测。
在大多数三维测量系统中,均通过投影矩阵法将三维点坐标求解出来,然而此方法未对标定参数有效应用,同时矩阵间计算较复杂。周麒[18]为了得到三维点信息,使用自然光双目系统拍摄待测量物体的双目图像,通过获取物体表面点的三维信息来进行体积测量。
乔载[19]提出了双视点流量测量法,该方法是以机器视觉为依托,使用2个双目相机,主要在输送胶带上部与下部放置,这样可以获取煤流上表面和输送胶带下表面图像。标定相机之后就能够采集煤流图像信息,矫正获取的图像后通过处理图像获取煤流厚度,并构建模型获取瞬时横戴面积,进而测量煤流体积。
王玉东[20]等研究人员开发了一种带式输送机煤重检测系统,该系统集成了基于双目视觉的三维煤重信息提取模块和基于三维场景重建方法和T-S 模糊推理的煤重检测计算模块。首先,将局部熵变煤流图像信息与k均值聚类分割方法相结合;对煤炭区域进行分割,利用双目视觉技术进行煤炭三维信息提取;然后通过基于三维场景重建方法离线采集输送胶带的三维信息,最后根据输送胶带和煤炭的三维信息重建场景,计算出初始煤炭体积。此外,该系统还通过分水岭算法计算每个煤块的面积和周长,并将每个煤块的面积和周长作为T-S 模糊推理的输入,估计出煤的空隙率,最终根据空隙率对煤体积进行修正,并利用密度和重量计算公式实现煤重检测。
双目立体视觉测量对环境光非常敏感。双目立体视觉依靠环境中的自然光来采集图像,但由于光照角度变化、光强变化等环境因素的影响,2幅图像之间的亮度差较大,这对匹配算法提出了挑战。此外,双目立体视觉测量不适用于缺乏纹理的场景。由于双目立体视觉根据视觉特征来匹配图像,因此缺乏视觉特征的场景会使匹配图像变得困难,导致匹配误差较大,甚至匹配失败。这些问题都会影响双目立体视觉测量技术应用于煤量测量时的精度。
线激光检测使用激光器向被测物体表面投下一根细而亮度均匀的激光条,因为被测物体表面的凹凸不平,会使激光条也产生相应的变化。拍摄求取形变激光条上的世界坐标,这样就能够获得被测物体表面的世界坐标最终得到被测物体的体积。
早期的研究人员使用直线激光测量静态煤堆的体积,李克伟[21]在实验室环境下进行了测量煤量的相关研究,这一研究主要结合激光三角测距理论,得到测量煤量的算法,从而使静态煤堆体积测量得以真正实现;随后张延芝[22]用激光扫描仪成功测量了带式输送机上的动态煤堆体积,虽然利用激光扫描仪实现了输送胶带上动态堆煤的体积测量,但是激光扫描很容易受到烟雾、灰尘、雨滴等环境的干扰。然而,通过激光对煤炭实施点、线扫描过程中,环境内颗粒物会对其产生影响。井下粉尘会严重影响到激光扫描,干扰到获取煤炭轮廓,因此为了提升煤量检测的精度,研究人员使用图像处理技术对激光扫描之后煤流图像进行预处理;李萍[23]开发了动态测煤系统,这一系统以图像处理为依托,通过单线激光对目标进行照射,预处理获取的煤流图像,将光条纹中心提取出来,获取目标厚度数据,之后向煤流体积转化;为了克服噪声和粉尘对综放工作面的影响,胡而已[24]开发出放煤智能监测法,这一方法是以激光扫描为依托,根据防尘防爆硬件,再进行回归预测,通过激光扫描的方式可以得到云数据,构建实时模型。自不同的维度入手,例如煤流量与截面积等,将煤流量变化特点全面展现出来。
曾飞和关丙火通过激光检测仪对带式输送机运送的煤量进行检测,以确定带式输送机是否出现堵煤或空载情况。曾飞[25]等研究人员通过激光来对输送机物料扫描,测量瞬时流量,通过二维激光测距仪,将其与测速传感器结合起来,在高速运行下对物料流三维云数据进行获取,对扫描线中云空间形态特征进行分析,以此为依托提出自动提取物质流轮廓法,同时以面元积分为基础,构建瞬时煤流流量计算数学模型,这一方法就是利用激光扫描输送胶带获取煤炭点云信息,结合点云形成的轮廓明确输送胶带输煤量;关丙火[26]总结出瞬时煤量检测法,这一方法以激光扫描为依托,利用数字摄像仪与激光仪器有机结合得到散煤图像,通过Ohta颜色空间特性,对激光线轮廓进行提取,以梯形面积累积法为依托对散煤截面面积进行求解,获取瞬时煤量。然而,在通过激光点、线扫描煤炭的过程中,环境内部颗粒物会对其产生影响,井下的较多粉尘会严重影响到激光扫描效果,会对提取煤样轮廓产生影响。
基于图像识别的非接触测量法中图像作为唯一的研究目标,其清晰与否对最终煤量检测结果的精确度有较大的影响。因此,在基于图像识别的非接触测量法中通过图像处理技术对获取的原始图像进行预处理是至关重要的一步。
图像处理技术[27]也被称作影像处理技术,为了使图像达到所需要的结果,通常使用计算机对图像进行处理。图像处理技术的主要内容包括图像压缩、增强复原、匹配描述识别3个部分,常见的处理方式有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等[28]。煤量检测过程中常用的图像处理方法包括图像增强和图像分割,该方法是实现输送胶带煤量精准检测的重要图像处理技术。
在处理昏暗矿井下所拍摄的图像时,往往有很多重要信息在图片中很模糊。 为了使这些信息变得清晰,可以采用图像增强技术。图像增强作为一种基本的图像处理技术,其目的是使处理过的图像比原始图像更适合于特定的应用,即图像增强是根据特定需要有目的进行的一种方法。
传统的图像增强方法可分为空间域增强法和频域增强法两大类。 空间域增强法是对图像中像素点的灰度值进行变换,如线性灰度变换、非线性灰度变换、直方图均衡化处理等。 而与空间域增强法不同的是频域增强法要先在频域对图像进行相应的变换,然后对变换之后所得图像各频谱成分进行处理,最后再经过逆变换得到所需的效果图像。图像增强方法归纳图如图4所示。
图4 图像增强方法归纳
(1)灰度变换。灰度变换是图像增强的一种空间域处理方法,使用灰度变换改变图像的灰度值增加其动态范围,这样会使图像对比度增强,图像的显示效果得到改善,图像变得更加清晰,图像中的细节也变得更加突出。灰度变换制定规则改变图像的每个像素的灰度值,图像反演、对数变换和伽马变换都是常见的灰度变换方法。
(2)直方图修正。直方图修正同样是从图像的灰度值入手,一张图片的灰度值为0~255,将相同灰度值在图片中出现的次数统计起来,最终将其转化成直方图,直方图的横坐标是灰度值,纵坐标是灰度值对应的出现次数[29]。为了使图像灰度值分布更加均衡,需要对直方图进行均衡化操作,从而增加图像的整体对比度效果,让图像内容变的更加清晰。
(3)图像平滑。图像平滑主要包括均值滤波法和中值滤波法。均值滤波法使用奇数个选取框,选取框中心点的像素值由选取框其他象素点的灰度值总和的平均值替代。这种方法能够去除图像灰度值中急剧变化的象素点。因为图像中的噪声点的灰度值一般与四周的灰度值相比变化剧烈,所以均值滤波能够被用来处理图像中的噪声,这是均值滤波的优点,但是均值滤波也有容易使图像的轮廓变得不清晰、使图象中有用的细节被弱化等缺点。不同于均值滤波,中值滤波法使用邻域象素的中值替代,该方法计算更加简单,相比均值滤波对孤立噪声的平滑效果会更好。此外,该算法能更好地保护图像边界,但会使图像失去细线和小目标区域。因此,如果想要使用中值滤波这一方法,就需要注意保持图像中有用的细线。
(4)图像锐化。图像锐化是从频域的角度通过加强高频成分使图像中模糊的地方变得清晰。图像锐化能够保证图像轮廓越来越清楚,而且能够提高灰度对比度。对于后期使用图像进行目标识别特征提取有较大帮助。图像的锐化处理不仅可以增强图像的边缘特征,同时还会增加图像的噪声。微分法和高通滤波法是常用的图像锐化2种方法。
(5)频域滤波。频域滤波(高通滤波、低通滤波、同态滤波)是一种在频域中对图像进行处理的方法。首先使用傅里叶变换得到图像的频谱,然后对其频谱进行滤波,最后再通过傅里叶反变换得到处理后的图片。在频域中,图像的平均灰度位于零频率分量,平滑的图像信号位于低频率分量,图像中的细节和边界位于较高频率的分量。因为噪声的频率位于高频率分量中,所以对图像高频部分进行处理就是对图像进行平滑处理。同样,想要实现图像的锐化和边缘提取,就需要去除图片频域中低频的部分。常用的频域增强方法有低通滤波和高通滤波。
图像分割的基本思想是将目标和背景视为一组各自满足某种相似或相同特征的连通区域,通过像素灰度、纹理、亮度、色调等特征对目标和背景进行分类标签建模,实现目标背景的分割[30]。在实现输送胶带上煤量检测的过程中,将目标煤流从背景输送胶带提取出来的效果影响着最终煤量检测的精确度。
(1)边缘检测。边缘检测技术是最早出现的图像分割技术之一,该技术可以通过检测不同均匀区域之间的边缘来解决图像分割问题。图像边缘的灰度值与边缘两侧的灰度值相比变化较大,图像的灰度值在边缘处不再连续,可以利用求导检测这种不连续性进而求得图像的边缘[31]。
(2)阈值分割。阈值分割是选择合适的阈值将图像的灰度分为几个等级,并将同一个等级的像素当作同一个目标[32]。阈值分割中对阈值选择是重中之重,一个合适的阈值能够容易实现图像分割,与之相反,如果阈值选取不合理,会使图像分割的效果达不到理想值。
(1)为了实现“大马拉大车,小马拉小车”的节能运输模式,带式输送机负载检测作为调节带式输送机转速的先决条件,其检测结果的精度与速度将直接影响到节能效果。
(2)由于井下作业环境较昏暗,同时光照强度存在差异,摄像机所采集到的图像相较于充足光照下的图像条纹不够清晰,且存在毛刺现象。视频图像质量不高极大地限制了对输送胶带上煤流的轮廓提取以及模型学习能力,因此需要使用图像增强、特征融合等方法对图像进行预处理,使视频图像的质量适应煤矿井下煤量检测的需求。
(3)在使用深度学习方法进行煤量检测分类时,数据集样本较少也是另一大难题。 在数据集样本不足的情况下,很难得到较好的训练模型,因此为了提高模型的泛化能力,需要使用迁移学习、强化学习等方法来训练深度网络模型。
(4)由于受到井下光线昏暗、高粉尘的环境限制以及控制设备高成本的影响,单目视觉检测将会是未来发展的重点检测技术之一,如何高效地消除环境的影响并快速识别煤量也是未来研究的重要方向。
[1] 邢金岭.变频驱动带式输送机功率平衡控制研究[J].煤炭科学技术,2014,42(7):84-87.
[2] 王海军.带式输送机机载煤量自动匹配控制及节能分析[J].煤炭科学技术,2013,41( S1):246 -249.
[3] 范守俊,吴文明,岳洪涛,等.基于煤流量监测的带式输送机自动监控调速系统研究[C]//第24 届全国煤矿自动化与信息化学术会议暨第6届中国煤矿信息化与自动化高层论坛论文集,太原:2014:109-117.
[4] 孙汪萍.长距离带式输送机节能优化策略的研[D].合肥: 合肥工业大学,2015.
[5] 何仲波.带式输送机调速节能控制研究[J].神华科技,2013,11(2):91-93.
[6] 原柏.国产电子输送胶带秤进展评述[J].工业计量,2016,26(2):24-28.
[7] 徐伟锋,戴明宏,朱丹,等.机器视觉在织物疵点检测中的应用进展[J].棉纺织技术,2021,49(4): 80-84.
[8] 陶伟忠.基于视频的煤矿带式输送机自动调速控制系统[J].煤炭科学技术,2017,45(5):28-33.
[9] 李纪栋,蒲绍宁,翟超,等.基于视频识别的带式输送机煤量检测与自动调速系统[J].煤炭科学技术,2017,45(8):212-216.
[10] 贺杰,王桂梅,刘杰辉,等.基于图像处理的带式输送机上煤量体积计量[J].计量学报,2020,41(12): 1516-1520.
[11] 王宗省,管振栋,张欣,等.基于图像处理的输送胶带煤量动态计量研究[J].煤炭工程,2020,52(8):138-142.
[12] 王桂梅,李学晖,杨立洁,等.基于深度学习的永磁直驱带式输送机煤量检测方法研究[J].煤炭技术,2022,41(1):188-190.
[13] LI D, MENG G,SUN Z, et al. Weight Estimation Method of Coal and Gangue on Conveyor Belt Based on Instance Segmentation[C]//2021 3rd International Conference on Artificial Intelligence and Advanced Manufacture (AIAM).IEEE,2021:432-435.
[14] BAY H,TUYTELAARS T, GOOL L.SURF:speeded up robust features[C]//Proceedings of the 9thEuropean Conference on Computer Vision. Graz,Austria:Springer, 2006:404-417.
[15] 高如新,王俊孟.基于双目立体视觉的煤体积测量[J].计算机系统应用,2014,23(5):126-133.
[16] 毛佳红,娄小平,李伟仙,等.基于线结构光的双目三维体积测量系统[J].光学技术,2016,42(1):10-15.
[17] 代伟,赵杰,杨春雨,等.基于双目视觉深度感知的带式输送机煤量检测方法[J].煤炭科学技术, 2017,45(S2):547-555.
[18] 周麒,杨永明,王振洲.基于双目立体视觉的结构光测量技术[J].计算机工程,2018,44 (7):244-249.
[19] 乔载.基于机器图像识别的输送胶带运输物料双视点流量测量方法研究[D].山西:太原理工大学,2018.
[20] WANG Yudong, DAI Wei, ZHANG Lingzhi, et al. Coal Weight Measurement Method of Belt Conveyor Based on Binocular Stereo Vision[C]//2020 7th International Conference on Information, Cybernetics, and Computational Social Systems (ICCSS).IEEE,2020:486-492.
[21] 李克伟.基于机器视觉技术的带式输送机输送量检测系统的应用与研究[D].沈阳:东北大学,2014.
[22] 张延芝.基于激光扫描技术的带式输送机非接触式输送量检测系统的应用与研究[D].沈阳:东北大学,2014.
[23] 李萍.基于机器图像识别的散状物料动态计量系统研究[D].北京:中国矿业大学(北京),2017.
[24] 胡而已.融合激光扫描与机器视觉的煤流量测量研究[J].煤炭工程,2021,53(11):146-151.
[25] 曾飞,吴青,初秀民,等.带式输送机物料瞬时流量激光测量方法[J].湖南大学学报,2015,42(2):40-46.
[26] 关丙火.基于激光扫描的带式输送机瞬时煤量检测方法[J].工矿自动化,2018 (4):20-24.
[27] PRATT W K.Digital image processing:3rd edition [M]. New York:Wiley Inter-science,1991.
[28] 林洁.图像处理技术的实战应用[J].中国公共安全,2018 (Z1):152-154.
[29] 李亮,王蕾,王凯,等.基于像斑异质度的矢量图与遥感影像变化检测[J].国土资源遥感,2018,30(1):30-36.
[30] 王伟男,杨朝红.基于图像处理技术的目标识别方法综述[J].电脑与信息技术,2019,27(6):9-15.
[31] DHARGAVI V M.Methods of image edge detection: A review[J].Journal of Electrical Electronic Systems, 2015,4(2):5-7.
[32] BHARGAVI K,JYOTHI S.A survey on threshold based segmentation technique in image processing[J].International Journal of Innovative Research and Development,2014,3(12):234-239.
移动扫码阅读
LIU Fei,ZHANG Lequn,PAN Hongguang,et al.Research on coal quantity detection technologies of belt conveyor and their development trend[J].China Coal,2023,49(9):77-83.DOI:10.19880/j.cnki.ccm.2023.09.011