★ 清洁利用 ★
传统的湿法排矸如动筛跳汰排矸以及重介斜轮、重介浅槽排矸等,在生产过程中需要大量用水,也会对水资源造成一定的污染。而干法选煤通过空气流动和机械运动等方式,将煤与矸石进行分离,不仅在节约水资源、保护环境方面具有显著优势,还减少了湿法分选的水处理费用,显著降低了生产成本[1]。随着我国煤炭开发重心向西北干旱地区转移,干法选煤得到更加广泛的应用,并有望逐步发展成为动力煤选煤厂的主要分选工艺[2-3]。
随着新一代信息技术的发展以及国家政策的推动,煤矿正向智能化转型,煤炭开采加工技术与人工智能技术融合成为研究热点[4-5]。以射线透射图像识别为基础的智能干选结合了干法选煤技术和人工智能技术的优势,具有高效节能、自动化程度高和适应性强等特点,同时还通过减少人工干预,提高了工作的安全性[6]。目前,国内厂商和科研院所经过不断技术革新,已经研制出具有自主知识产权的智能选矸设备和选矸机器人等,能够根据实时数据进行智能调节和优化,提高了分选效率和产品质量。块煤智能拣选排矸已经得到广泛认可并快速推广,已逐渐成为块煤排矸的主要工艺方法[7]。
煤炭开采过程中由于采煤机械、运输设备故障以及井下作业产生的废弃物和生活垃圾,原煤中会混入各种杂物,常见的杂物如图1所示。
图1 煤中常见杂物
这些杂物可大致分为4类:形状特定的零件、工具,如锚杆托盘、辊筒、手套、老虎钳等;形状或颜色具有特征的杂物,如塑料瓶、塑料袋、皮带、木板、网片、各种金属棍棒等;尺寸形状范围广的杂物,如:铁丝、木块;易被煤泥掩盖特征的杂物,如编织袋、棉絮、绳子、雷管等。智能干选在选煤厂的应用实践表明:金属等硬度较高的杂物会对带式输送机等设备造成伤害,纤维状的杂物可能会堵塞设备和溜槽,雷管会导致系统局部发生爆炸。
工业生产条件下,有的杂物表面会被煤泥覆盖,降尘作业等还会使杂物与煤外观的差异性进一步减小,使得杂物被误判随煤流进入后续选煤生产环节,影响后续工艺与设备。为了保证选煤设备的正常运行,提高分选效果,一些选煤厂(如徐州矿业集团张双楼选煤厂)在智能干选设备之前设置1道人工除杂工艺,该岗位工作环境恶劣,迫切需要有适宜的设备来替代人工操作。由于煤流中杂物种类繁多,融合各类杂物特征较为困难,给识别工作造成了极大困难。目前仍只能由工人在手选胶带两旁对杂物进行人工分拣。可见,杂物的智能识别是机械除杂的关键和技术难点。
计算机视觉中,在数字图像上对目标进行分类并确定其位置的任务称为目标检测[8-9]。目标检测算法分为两阶段检测算法和一阶段检测算法。两阶段检测算法首先生成区域建议,随后对建议区域进行检测,代表算法有R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等[10];一阶段检测算法直接提取图像特征进行处理,将目标检测任务转化为回归任务,适合快速目标检测,较多应用于实时检测领域,代表算法有SSD、YOLO系列等[11]。由于选煤厂手选胶带传送速度快,传送带上杂物种类繁多,更适合采用一阶段检测算法。
在煤中杂物检测方面,前人应用目标检测技术已做了许多相关工作,并取得一系列成就。任志玲等[12]通过对CenterNet网络进行改进,使用加权特征图融合的方法,降低了对杂物的误检率和漏检率;程德强等[13]提出1种轻量级融合残差网络,以改进残差块提取特征,在信息融合网络中采用特征拼接和交叉学习机制,并对网络结构进行精简,在提高检测精度的同时,也提升了计算速度;卢学明等[14]结合变分自编码器与生成式对抗网络,训练正常煤流图像,通过原始图像与重构图像的误差来判断煤流中是否有杂物的存在;毛清华等[15]提出改进YOLO v7的检测算法,在主干网络引入轻量化无参注意力机制,用深度可分离卷积代替普通卷积,提高了杂物识别准确率和速度。
然而由于研究所针对的场景不同、杂物种类不同,手选胶带煤流中杂物还存在灯光、胶带震动影响图像质量,煤块压叠、煤泥覆盖、喷水影响杂物表面特征等难点,已有检测算法难以满足此条件下的检测需求。针对这些问题,笔者提出1种改进YOLO v8的煤中杂物检测方法以期提高识别效率。
YOLO系列算法是一阶段检测算法的代表之一,省却了预先生成候选区域的步骤,将目标检测转化为回归问题,一次性输出目标的类别和位置信息,因而具有更高的检测速度,广泛应用于实时性要求较高的领域。
由超熔体(Ultralytics)公司开发的YOLO v8相比于之前的版本,其性能有了进一步提升。YOLO v8网络由头部网络(Head)、颈部网络(Neck)和主干网络(Backbone)3部分组成。Head部分由3个检测头组成,采用解耦头结构,即,将1个检测头分解为分类与定位两部分,分别进行类别预测与位置预测,最终输出目标的类别、置信度与位置信息;Neck部分结合空间金字塔网络(Feature Pyramid Network,FPN)与路径聚合网络(Path Aggregation Network,PAN),将不同尺度的特征进行融合以提高特征表达能力;Backbone部分由5个卷积模块、4个C2f模块和1个空间金字塔池化模块组成,通过一系列卷积、池化操作提取输入图像不同尺度的特征,YOLO v8的网络结构如图2所示。
图2 YOLO v8网络结构
由于煤中杂物情况复杂,YOLO v8并不是主要针对煤中杂物检测的算法,将其用于煤中杂物检测,难以取得满意的效果,应对其进行改进。
2.2.1 添加注意力机制模块
注意力机制是一种模拟人类视觉系统的选择性感知机制的数据处理方法,通过注意力机制,神经网络模型可以从大量数据中筛选重要信息,抑制次要信息,从而使网络训练过程更高效,进而提升模型性能。在计算机视觉任务中,注意力机制通过选择性关注图像中最重要的区域,获取更多有效的细节信息,抑制不相关部分,进而能更准确地提取目标的特征[16]。YOLO v8网络结构如图2所示。
在选煤厂手选胶带的杂物检测环境中,包含了大量复杂信息,如煤泥、喷水、光照等干扰检测的因素,引入注意力机制模块可以让模型更加关注目标杂物的特征信息,忽略环境中的各种干扰因素,从而提高模型的鲁棒性和准确性。
根据关注域的不同,注意力机制可以划分为通道域、空间域和混合域3类。通道注意力侧重于特征图的通道维度,更关注类别信息,空间注意力则侧重于特征图的空间维度,更关注位置信息[17]。只关注通道域或空间域,会忽略通道和空间信息的交互作用,因此研究者们通过融合通道维度和空间维度,以增强跨维度交互来提高模型性能。
LIU Y 等[18]提出了一种全局注意力机制(Global Attention Mechanism,GAM),同时使用通道注意力和空间注意力,以增强全局维度交互特征并减少了信息缩减,可以提升神经网络的性能。其结构如图3所示,可表示为式(1)和式(2):
图3 GAM模块结构
式中:F1——输入特征图;
F2——经过通道注意力子模块处理后的特征图;
F3——输出特征图;
MC——通道注意力图;
MS——空间注意力图;
⊗——各元素相乘。
通道注意力子模块先变换特征图的维度排列顺序以保留三维信息。然后用2次多层感知器(Multi-Layer Perceptron,MLP)增强交叉维度的通道-空间依赖性。通道注意力子模块结构如图4所示。图中,G、W、H分别表示图像的通道数、宽度和高度。
图4 通道注意力子模块结构
空间注意力子模块使用2个7×7卷积核提取和融合空间信息,经过第1个卷积核通道数量被缩减(C/r,r为缩减率),以减少参数量和计算量,防止过拟合,为与特征图F2诸元素相乘,通过第2个卷积核将通道数扩展为与其一致。为保留特征,移除池化处理并使用与通道注意力子模块相同的缩减率。
空间注意力子模块结构如图5所示。
图5 空间注意力子模块结构
2.2.2 改进特征融合网络
在目标检测模型中,神经网络通过卷积逐层提取图像信息,形成多层不同尺度的特征图。随着网络的加深,深层的特征图感受野大,所包含的语义信息丰富,但分辨率较低,空间几何特征较缺乏;浅层的特征图虽然感受野小,语义信息表达能力也较弱,但分辨率高,空间几何细节充分。为了实现对多尺度目标的检测,研究者通常采用对各层次特征图进行融合的思路。
早期的YOLO系列采用FPN,通过加入自上向下的线路和横向连接,融合各层次特征,构建了不同尺度且具有丰富语义信息的特征金字塔[19]。YOLO v8的特征融合部分采用PAN思想,与FPN相比增添1条自下而上的特征融合路径,简称为PAFPN,该结构进一步增强了多尺度特征的表达能力[20-21]。但上述特征融合方法只是将不同的特征调整为同一分辨率进行简单相加,没有考虑不同层次特征,分辨率各不相同,从而对输出的贡献不同。TAN M 等[22]提出一种加权的双向特征金字塔网络(Bidirectional Feature Pyramid Network,BiFPN),在特征融合过程中采用加权融合方法,根据不同输入特征的重要性设置了不同的权重,通过反复采用这种结构加强特征融合;同时,删除了不必要的节点,简化了网络结构,并添加跨层融合路径,多尺度预测的特征图会有更丰富的特征信息,其预测精度会有所提高。FPN、PAN与BiFPN网络结构如图6所示。
图6 FPN、PAN与BiFPN网络结构
BiFPN的加权融合方式采用快速归一化融合,见式(3),因没有使用Softmax方式,因而训练速度大幅提高。
(3)
式中:O——融合后的特征图;
Ij——输入特征图;
ωi——可学习的权重,通过应用SiLU激活函数保证ωi≥0。
设置ε=0.000 1以防止数值的不稳定。
2.2.3 改进损失函数
作为目标检测损失函数的重要组成部分,良好的边界框损失函数可以显著提升目标检测模型的性能。在目标检测任务中,预测框A与真实框B的交集面积和并集面积的比值——交并比(IoU),常被用于衡量预测框与真实框的重叠程度,如图7所示,定义式见式(4)。
图7 预测框与真实框的交集、并集
(4)
边界框损失函数IoU定义见式(5):
LIoU=1-IoU
(5)
但IoU无法反映预测框与真实框的位置关系以及形状的相似度,并且若预测框与真实框没有重叠,损失函数LIoU为定值,梯度消失,导致网络无法反向传播,研究者们通过在IoU的基础上添加几何惩罚项来弥补。YOLO v8采用了CIoU损失函数作为边界框损失函数,CIoU在IoU的基础上加入了2个惩罚项,中心点距离损失和边界框长宽比损失[23-24]。记真实框为[xgt,ygt,wgt,hgt],预测框为[x,y,w,h],(xgt,ygt)为真实框中心坐标,(x,y)为预测框中心坐标,wgt、hgt 为真实框宽和高,w、h为预测框宽和高,Wg、Hg为预测框与真实框的最小包围框的宽和高,Wi、Hi为预测框与真实框重叠部分的宽和高,CIoU定义如式(6)~式(10)所示:
式中:LIoU——用于度量预测框和真实框的重叠程度;
ρ——预测框与真实框的中心点距离;
c——预测框与真实框的最小包围框的对角线长度;
α——平衡参数;
v——衡量长宽比的一致性。
CIoU损失函数参数如图8所示。
图8 CIoU损失函数参数
CIoU损失函数虽然通过引入中心点距离和长宽比相似度,强化了边界框的拟合能力,但没有考虑到样本的质量平衡问题。在煤中杂物检测任务中,包含很多低质量样本,几何惩罚项会加剧对其的惩罚从而使模型的泛化能力下降[25]。
TNG Z等[26]提出的WIoU损失函数,在CIoU的基础上考虑了样本质量问题,提出动态非单调聚焦机制,采用离群度代替交并比(loU)对边界框进行评估,并提供了一种梯度增益分配策略,使得在模型训练过程中同时降低高质量和低质量边界框的影响,使普通质量边界框的影响扩大,增强了模型的泛化能力,并且WIoU损失函数可以通过加权平均的方式,提高小物体的损失权重。
该损失函数通过构建距离注意力,得到了具有2层注意力机制的WIoUv1,见式(11)和式(12):
式中,RWIoU∈[1,e),用于度量预测框与真实框的中心点距离,预测框质量普通时可以显著放大其LIoU;LIoU∈[0,1],预测框质量高时可以显著降低其RWIoU,从而在预测框与真实框重合较好时减少对其中心点距离的关注。
在WIoUv1的基础上,引入动态非单调聚焦机制,得到WIoUv3,见(13)~式(15):
(15)
式中:r——动态非单调聚焦系数;
α、δ——超参数;
β——离群度,用于评价预测框的质量,离群度越小,预测框质量越高;β值小时,为其分配小的梯度增益,从而使模型更关注普通质量的预测框,β值大时,亦为其分配小的梯度增益,以防止低质量样本对模型产生有害影响;
平均LIoU值。
式(12)和式(15)中的上标*表示将Wg、Hg、LIoU从梯度计算中分离。
由于是变化的,划分预测框质量的标准也是动态的,从而使WIoUv3损失函数在训练过程中能根据当前情况动态做出梯度增益分配策略。因此笔者采用WIoUv3损失函数。改进后的网络结构如图9所示,标红处为改进部分。
图9 改进的YOLO v8网络结构
杂物识别系统主要由图像采集装置、带式输送机、上位机组成,如图10所示。
1-光源;2-相机;3-上位机;4-支架;5-胶带
图10 杂物图像识别系统示意
图像采集装置采用佳能EOS 600d数码相机,其配套的EOS Utility软件可通过计算机实时控制数码相机自动拍摄和自动存储图像。实验过程中采用M档(手动档)设定参数,其优点在于参数设定后不会因为拍摄物体的改变而影响拍摄效果。根据现场胶带运动情况,按照物料0.3 m/s的速度和图像分析情况确定数码相机参数,包括相机快门速度定、光圈、ISO感光度和分辨率像素大小等等。
由于LED灯有光强稳定、显色性好等优点,系统使用2台LED灯作为补充光源,在相机两侧对称布置,照射光线与胶带垂直,安装高度刚好使光线在胶带宽度方向上布满[27]。
笔者所使用的数据集为在徐州矿业集团张双楼选煤厂准备车间现场拍摄的包括铁丝、编织袋、塑料袋、木头、网片、棍状物6类杂物的图片,通过随机翻转、裁剪、平移、缩放以及添加高斯噪声等方法对数据集进行扩充,将数据集按照8∶2的比例划分为训练集与测试集,通过标注网站(https://www.makesense.ai/)对数据集进行标注。在实验中采用的的软硬件环境如下:操作系统Windows10,CPU为Intel(R) Core(TM) i5-8265U,GPU为Nvidia RTX2080t,编译器为python 3.9,深度学习框架为pvtorch2.1.1,加速模块为CUDA11.8;深度学习的实验超参数如下:图像为640像素,批数量为8个,迭代次数为200次,学习率为0.01,动量为0.937,权重衰减参数为0.000 5。
笔者采用平均精度均值mAP和每秒检测帧数FPS作为模型性能评价指标,mAP用于衡量模型预测的准确率,FPS用于衡量模型检测速度。mAP的计算涉及到精确率P、召回率R、平均精度AP的概念,精确率表示模型预测为正例的样本中预测正确的比例,召回率表示正例样本被模型找出的比例,计算见式(16)和(17):
式中:tp——预测为正例实际为正例的样本数;
fp——预测为正例实际为负例的样本数;
fn——预测为负例实际为正例的样本数。
正例表示预测类别正确且预测框与实际框的重合度(即IoU值)大于某一阈值[28]。
以召回率为横轴,精确率为纵轴,由不同召回率下的最高精确率可以得到1条精确率-召回率(P-R)曲线,通过对P-R曲线求积分可得到平均精度值AP。若样本有N类,mAP为所有类别的AP均值,目标检测中常使用平均精度mAP@0.5( IoU阈值为0.5时的mAP),具体计算见式(18)和(19):
3.4.1 消融实验
为了验证笔者提出的各种改进策略的有效性,在相同实验条件下,通过在YOLO v8的基础上添加不同的模块与原YOLO v8作对比,采用平均精度mAP@0.5与FPS作为评价指标,实验结果见表1。
表1 消融实验结果
序号算法平均精度mAP@0.5/%检测速率FPS/(帧·s-1)1YOLO v861.4212YOLO v8+GAM62.2193YOLO v8+BiFPN62.8194YOLO v8+WIoU62.4205YOLO v8+GAM+BiFPN+WIoU64.817
由消融实验结果可知,添加的模块皆不同程度地提升了检测精度,由于添加模块后,增加了网络层数与参数数量,检测速度略有降低,但能满足实际应用的要求。
3.4.2 对比试验
为了验证笔者提出的改进YOLO v8算法对手选胶带煤中杂物的检测效果,在相同的环境下,分别用原YOLO v8算法和改进的YOLO v8算法,在制作的煤中杂物数据集上进行训练、验证,以评估其性能。实验结果见表2,通过对比可知,改进后的YOLO v8算法对各类杂物的检测效果均有一定提升。
表2 改进前后算法效果对比
算法检测精度/%铁丝编织袋塑料袋木头网片棍状物平均精度/%YOLO v832.764.384.554.989.034.861.4改进YOLO v833.169.685.157.395.448.564.8
改进算法前后模型在数据集上的精确率-召回率曲线如图11所示,由精确率、召回率与mAP的定义可知,精确率-召回率曲线与横纵坐标围成的面积越大,曲线越向右上方凸,模型的效果越好。通过对比可知,改进后的算法所训练的模型较改进前有明显提升。
图11 改进算法前后模型在数据集上的精确率-召回率曲线(P-R)曲线
部分检测效果如图12所示,从中可看出改进后算法训练出的模型精度有明显提升,对被遮挡物体有了更精准的识别。在图12(a)中,产生了1个错误的棍状物检测框,改进后图12(b)中错检框消失,在图12(c)中有1根被煤块压住的铁丝,由于煤块的遮挡,显示出2个检测框,改进后图12(d)中模型去除了多余的检测框,并提高了置信度。
图12 部分检测结果对比
为了进一步验证笔者提出改进YOLO v8算法的有效性,在相同的数据集上,与目标检测的经典算法进行了对比实验,实验结果见表3,与主流目标检测算法Faster-RCNN、SSD、YOLO v3和 YOLO v5相比,改进的YOLO v8算法平均检测精度均有提高,由于增加了模块,检测速度比原YOLO v8有所下降,仅略低于YOLO v5、YOLO v8。
表3 与其他算法对比实验
序号算法平均精度mAP@0.5/%检测速率FPS/(帧·s-1)1Faster-RCNN53.662SSD50.4113YOLO v356.9144YOLO v557.3185YOLO v861.4216改进YOLO v864.817
(1)块煤杂物识别与除杂是选煤厂面临的技术需求之一。选煤厂手选胶带煤流中的杂物具有尺度跨度大、数量不平衡、存在堆叠以及被遮挡、表面特征易被掩盖等情况,现有的识别技术存在识别准确率低、误检、漏检等情况。
(2)在YOLO v8中添加GAM注意力机制,可以增强图像特征交互,在颈部网络中采用BiFPN结构,加权融合不同维度的特征,有利于提高对杂物特征的表达能力和提取,从而提升模型的精度。使用WIoU边界框损失函数,使模型能聚焦于普通质量的样本,减少冗余框、错框,提升模型的精度。
(3)实验室测试结果表明,采用改进的YOLO v8方法对铁丝、编织袋、塑料袋、木头、网片、棍状物的识别都有提高,平均精度由61.4%提高到64.8%。
虽然通过对YOLO v8进行改进,提高了模型对手选胶带上煤中杂物的检测效果,但由于煤中杂物的复杂情况,笔者提出的算法还不能囊括所有的杂物,在杂物的检测精度和范围方面仍有提升空间。未来可通过对杂物进行合理的分类,扩大检测范围,采用适宜的算法减少样本标注工作量和增加模型泛化性,提高检测精度和速率。
[1] 张振红.“双碳”背景下我国推广干法选煤必要性及其应用策略研究[J].中国煤炭,2023,49(9):23-27.
[2] 郑德志,任世华,秦容军,等.我国煤炭行业发展方式变革方向与路径研究[J].中国煤炭,2023,49(5):11-17.
[3] 周敏.“双碳”背景下我国煤炭产业转型发展分析[J].煤炭经济研究,2023,43(8):52-59.
[4] 王国法,孟令宇.煤矿智能化及其技术装备发展[J].中国煤炭,2023,49(7):1-13.
[5] 范济安,潘睿,王竑达.智能化矿山数据融合与应用研究[J].中国煤炭,2023,49(10):11-17.
[6] 付永礼,赵晏民.选煤厂智能化建设进展及展望[J].煤炭加工与综合利用,2023(4):39-42.
[7] 申龙,单浩然,王永利,等.智能煤矸石分选机器人的研究与应用[J].中国煤炭,2023,49(10):74-78.
[8] 帅泽群,李军.基于深度学习的目标检测研究[J].汽车工程师,2021(5):11-14.
[9] 曾文炳,李军.基于深度学习的目标检测算法综述[J].汽车工程师,2024(1):1-11.
[10] 叶嘉欣.基于深度学习的两阶段目标检测算法综述[J].互联网周刊,2023(5):16-18.
[11] 朱豪,周顺勇,刘学,等.基于深度学习的单阶段目标检测算法综述[J].工业控制计算机,2023,36(4):101-103.
[12] 任志玲,朱彦存.改进CenterNet算法的煤矿皮带运输异物识别研究[J].控制工程,2023,30(4):703-711.
[13] 程德强,徐进洋,寇旗旗,等.融合残差信息轻量级网络的运煤皮带异物分类[J].煤炭学报,2022,47(3):1361-1369.
[14] 卢学明,于在川,许升起.基于深度生成模型的煤矿运输皮带异物检测[J].计算机系统应用,2022,31(5):358-363.
[15] 毛清华,李世坤,胡鑫,等.基于改进YOLOv7的煤矿带式输送机异物识别[J].工矿自动化,2022,48(12):26-32.
[16] GUO M,XU T,LIU J,et al. Attention mechanisms in computer vision:A survey[J].Computational Visual Media,2022,8(3):331-368.
[17] 薄景文.基于改进YOLO的矿石输送带杂物智能检测算法研究与系统设计[D].青岛:青岛科技大学,2022.
[18] LIU Y,SHAO Z,HOFFMANN N. Global attention mechanism:Retain information to enhance channel-spatial interactions[EB/OL].(2021-12-10)[2024-02-10]. https://arxiv.org/abs/2112.05561.
[19] LIN T,DOLLAR P,GIRSHICK R,et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition,2017:2117-2125.
[20] LIU S,QI L,QIN H,et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition,2018:8759-8768.
[21] 程换新,乔庆元,骆晓玲,等.基于改进YOLO v8的无人机航拍图像目标检测算法[J].无线电工程,2024,54(4):871-881.
[22] TAN M,PANG R,LE Q . Efficientdet:Scalable and efficient object detection[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020:10781-10790.
[23] 王安静,袁巨龙,朱勇建,等.基于改进YOLO v8s的鼓形滚子表面缺陷检测算法[J].浙江大学学报(工学版),2023,58(2):370-380,387.
[24] ZHENG Z,WANG P,LIU W,et al. Distance-IoU loss:Faster and better learning for bounding box regression[C]//Proceedings of the AAAI conference on artificial intelligence,2020,34(7):12993-13000.
[25] 岳明凯,权康男,张骢,等.基于改进YOLO v8的红外小目标检测算法研究[J].红外技术:1-7[2024-04-18].http://kns.cnki.net/kcms/detail/53.1053.TN.20231122.0917.002.html.
[26] TONG Z,CHEN Y,XU Z,et al. Wise-IoU:Bounding Box Regression Loss with Dynamic Focusing Mechanism[EB/OL].(2021-04-08)[2024-02-10]. https://arxiv.org/abs/2301.10051.
[27] 苏晓兰.选煤厂煤样图像采集系统设计与实现[D].徐州:中国矿业大学,2014.
[28] 王万良,吴菲,吕闯.自动确定聚类中心的快速搜索和发现密度峰值的聚类算法[J].模式识别与人工智能,2019,32(11):1032-1041.
移动扫码阅读