0 引言

煤矿瓦斯浓度预测的目的是在充分挖掘历史数据的基础上，获取可靠的灾害前兆信息，对瓦斯灾害进行超前预报或预警，从而避免事故的发生。随着人工智能技术的广泛应用，许多学者将机器学习算法应用于瓦斯浓度预测，取得了较好的预测效果。综合来看，这些瓦斯浓度预测方法主要分为基于单一传统机器学习的方法、基于集成学习的方法和基于深度学习的方法3类。

基于单一传统机器学习的瓦斯浓度预测方法主要有灰色关联分析与高斯过程回归方法[1]、偏最小二乘回归分析方法[2]、差分自回归移动平均(ARIMA)方法[3]、BP神经网络方法[4-8]、支持向量回归方法[9-10]等。这些研究在瓦斯浓度预测方面做出了有益的探索，但是单一机器学习方法受方法本身的局限，预测精度还有待进一步提高，预测的泛化能力也有待改进。

为了克服单一方法的不足，一些学者采用集成学习方法预测瓦斯浓度。集成学习方法通过组合多个基学习器进行预测，从而达到“取长补短”的目的。付华等[11]在不等权泛平均运算模型研究的基础上，提出了集成自回归和径向基函数模型的矿井瓦斯浓度预测方法；贾澎涛等[12]基于瓦斯浓度与环境因素相关性分析，提出了瓦斯灾害选择集成回归学习模型；LIANG Rong等[13]构建了基于前序选择集成回归模型的瓦斯浓度预测方法。这些集成预测模型弥补了单一方法的不足，精度和泛化能力较单一模型有所提高，但是运行的时间效率有所下降。

随着深度学习的逐渐应用，近年来，一些学者也将其应用在瓦斯浓度预测领域。李树刚等[14-15]建立了基于循环神经网络(RNN)的工作面瓦斯浓度预测模型，获得了较好的准确性。但是RNN网络随着数据量、隐藏层数和神经元数量的增大，往往会面临梯度爆炸、梯度消失和长期依赖的问题。因此，一些学者[16-23]研究了基于长短时记忆神经网络(LSTM)的瓦斯浓度时间序列预测，有效解决了RNN网络存在的问题，取得了较好的预测效果。但是LSTM模型存在参数较多、结构较为复杂、不易收敛、训练时间长等问题。为了解决LSTM存在的问题，一些学者[24-26]提出了一种基于优化门控循环单元神经网络(GRU)的瓦斯浓度预测模型，相比RNN和LSTM具有更高的精度和更少的运行时间。但是，与非深度学习模型相比，深度学习模型训练耗时长，需要数据量大，不能满足在线预测的要求。

综合来看，单一的机器学习模型的精度有待提高，而深度学习模型由于网络结构复杂、参数多，导致建模效率较为低下。此外，目前多数瓦斯浓度模型为静态模型，不支持在线预测，这些都是需要亟待解决的问题。因此，笔者尝试采用机器学习中有监督集成学习方法——梯度提升决策树(GDBT)，进行瓦斯浓度预测。首先，采集瓦斯浓度历史数据，应用拉格朗日插值法和拉依达准则对数据中的异常值和缺失值进行预处理；其次，在集成学习理论的基础上，构建基于梯度提升决策树的瓦斯浓度预测模型；然后，采用L2-范式作为目标函数，确定模型输入滑动窗口长度的最优值，建立瓦斯浓度在线预测模型；最后，实验验证了模型的预测有效性、在线预测效率和泛化能力。

1 基于GBDT的瓦斯浓度预测模型

GBDT算法是集成学习算法Boosting的一个代表算法，用于解决高维非线性数据的分类与回归预测问题[27]。GBDT算法采用K个分类回归决策树(CART)[28]作为基学习器，以K个基学习器输出结果的和作为最终结果。

1.1 瓦斯原始数据预处理

原始瓦斯浓度数据由于受传感器故障、传输链路中断、环境等因素影响，可能存在数据缺失、噪声、异常值等“脏数据”。在进行瓦斯浓度预测之前，必须先对这些“脏数据”进行处理。采用拉依达准则查找原始数据中的异常值，并将异常值视为缺失值。

拉依达准则是较为常见的异常值判别准则。如果具有n个数据的时间序列集合X={x1，x2，…，xn}的残差绝对值大于3倍的标准偏差时，即如果标准差如式(1)所示时，不等式(2)成立，则认为该测量值为异常值，将异常值处理为缺失值。

式中：σ——数据的标准差；

数据的平均值；

xi——第i个数据值；

n——数据的总数量。

然后再应用拉格朗日插值法对数据中的缺失值进行预处理。拉格朗日插值法是一种多项式插值方法。设具有n个离散点的瓦斯监测时间序列数据为G={x1，x2，…xt，…，xn}，t时刻瓦斯监测数据缺失值为xt，有拉格朗日插值函数L(t)，使得xt=L(t)。构造n次拉格朗日插值函数为：

(3)

式中：L(t)——拉格朗日插值函数；

t——时刻；

ti——第i个时刻；

tk——第k个时刻。

拉格朗日插值法简单易用，但是在实际使用中，为了避免龙格现象(即在两端处波动极大，产生明显的震荡)，需要根据数据具体情况确定合适的插值阶数。

1.2 瓦斯浓度预测决策树

GBDT瓦斯浓度预测算法的基础是回归决策树CART算法，回归决策树本质是一个二叉树，由父节点和子节点构成。

GBDT瓦斯浓度预测方法就是瓦斯监测时间序列数据G上的回归问题。假设将输入空间G划分为M个子空间，并在每一个子空间Gm上有固定的输出值瓦斯浓度回归树的模型表示为：

式中：I——脉冲函数；

每个子空间中所有样本的输出变量y的平均值；

ave——平均值函数；

yi——子空间中对于输入xi的输出结果。

设回归决策树的当前父节点所对应的子空间为Gm，对于Gm依据阈值分割为和左右2个部分，分割规则可表示为：

(6)

对于此分割问题，存在一个最优分割，使得R={x1，x2，…，xn)最小，其中R={x1，x2，…，xn)可表示为：

(7)

式中：|Gm|——属于子空间Gm样本点的个数。

子空间Gl和Gr样本的输出变量y的均值。

按照上述分割方法，将Gl和Gr作为父节点递归进行分割，直至当前父节点中样本的y值方差小于给定方差阈值。条件满足时，停止递归并将当前父节点设置为叶子节点。至此，建立起单棵瓦斯浓度预测CART树。

1.3 基于GBDT的瓦斯浓度预测模型构建

单颗CART决策树已经能对瓦斯浓度进行预测，但精度不高，且不稳定。因此，应用集成学习的思路，在单棵CART树的基础上，构建基于GBDT的瓦斯浓度预测模型(PGBDT)，则可有效弥补单棵CART预测树的不足。

GBDT算法是一种迭代的决策树算法，可以看作是M棵CART树构成的加法模型：

(1)初始化一个弱CART树学习器CART0(x)：

(8)

式中：L(xi，c)——损失函数。

(2)针对瓦斯样本数据集建立M棵CART树：

对于i=1，2，…，n，计算m(m=1，2，…，M)棵树损失函数的负梯度：

(9)

式中：rm，i——损失函数的负梯度。

(3)使用CART回归树拟合数据(xi，rm，i)(i=1，2，…，n)，获得第m棵回归树，对应的叶子节点区域为Rm，j(j=1，2，…，Jm)，第m棵回归树叶子节点的个数为Jm。

(4)对于Jm个叶子节点区域(j=1，2，…，Jm)计算出最佳拟合值：

(10)

式中：cm，i——最佳拟合值；

c——待拟合的模型参数。

(5)更新强学习器CARTm(x)：

(11)

(6)建立M棵CART树的输出加权求和，得到GBDT模型的结果：

(12)

式中：w——模型参数；

α——每棵树的权重。

PGBDT模型结构如图1所示。

1.4 在线预测

前述建立的PGBDT模型是静态模型，并不具备在线预测的能力，不能满足瓦斯浓度在线预测的需求。因此，对PGBDT模型进行改进，采用L2-范式作为目标函数，确定模型输入滑动窗口长度的最优值，建立瓦斯浓度在线预测模型，使其具备在线预测的能力。

设在一个时间监测周期t内的瓦斯浓度时间序列为G={x1，x2，…xt}，yt+1为t+1即下一时刻的预测值：

yt+1=PGBDT(G，α，w)

(13)

设PGBDT模型在线学习窗口长度为N，则PGBDT模型参数估计由xt-1，xt-2，…，xt-N+1确定，窗口长度N的值可由L2-范式最小化(L2-min)方法确定。

设瓦斯浓度测试集误差ε(t)为：

(14)

取测试集误差和的最小值，即可求得最佳学习窗口长度N值，并利用宽度为N的滑动窗口实现新监测数据的增量学习。

2 实验数据与实验设计

2.1 实验数据

在陕西建新煤矿进行工作面瓦斯浓度监测数据采样，采集时间从2019年4月18日12∶00开始，至2019年5月19日10∶35结束，数据采集粒度为5 min。应采集数据8 914条，实际采集有效数据8 895条，数据缺失19条，无异常值和噪声值。实验数据均值为0.146%，标准差为0.087%，最小值0.021%，最大值0.925%。按照9∶1的比例划分训练集与测试集。

采用拉格朗日插值法对数据中的空值进行插值处理。处理后的数据盒如图2所示，图中显示出一组数据的最大值、最小值、中位数及上下四分位数。

2.2 对比模型

选择线性回归(LR)、差分自回归移动平均(ARIMA)[3]、支持向量回归(SVR)[10]、BP神经网络[4-9]、循环神经网络(RNN)、LSTM[18-23]、GRU[24-26]等预测方法作为实验对比方法。

2.3 评价指标

为了检验预测方法的有效性，必须用一定的指标对预测效果进行综合性的衡量和评价。按照预测效果评价的原则和惯例，采用以下评价指标作为参考。

设瓦斯浓度数据测试集真实值为Gtest={xn+1，xn+2，…，xn+s}，预测值集合为Gpre={yn+1，yn+2，…，yn+s}，选择以下3项指标作为评价指标：

(1)平均绝对误差MAE：

(15)

式中：s——总数据量。

(2)均方根误差RMSE：

(16)

MAE和RMSE越小，说明模型的预测效果越好。

(3)判定系数R2：

(17)

式中：测试集的平均值。

R2取值为0～1，越接近1，说明模型的预测精度越高。

3 结果分析

3.1 不同模型对比分析

在测试数据集上，对PGBDT方法和对比预测方法进行测试，实验评价结果和运行时间数据对比见表1。

从表1可以看出，在预测精度方面，在MAE指标上，PGBDT取得了最好的预测效果0.014 5；在RMSE指标上，ARIMA、PGBDT、BP、LSTM和GRU取得了较好的预测效果0.001 0；在R2指标上，PGBDT取得了最好的预测效果0.891 2。在预测效率方面，LR和SVR的训练和运行时间较短，PGBDT次之，BP、RNN、LSTM、GRU的运行效率较差。

综合来看，对于静态预测模型，LSTM、GRU等深度学习方法预测精度和PGBDT不相上下，但是PGBDT的预测效率较大幅度优于LSTM和GRU模型。

3.2 在线学习窗口长度N的确定

学习窗口长度N依据L2-范式确定。设定学习窗口的下界为10，上界为600。将窗口值从10增至600，每次增加窗口的长度为1，创建相应的PGBDT模型，并在测试集上进行逐点预测，求出每个模型在测试集上的L2-范式，得出L2-范式在不同学习窗口大小下的变化情况，如图3所示。

由图3可知，学习窗口在300之前，L2-范式值呈下降趋势；学习窗口在300～430之间，L2-范式值来回波动；在学习窗口300时，L2-范式值取得最小值；学习窗口大小超过430之后，L2-范式值又呈上升趋势。因此选择序贯学习窗口大小为300，此时L2-范式值为0.0 007 981，MAE值为0.011 8，MAE比在全部训练集上学习取得的MAE误差率0.014 1降低了16.3%。全训练集上学习窗口长度为8 023，学习窗口大小300时比静态全训练集窗口长度降低96.3%。学习窗口长度的降低有效地降低了GBDT模型的建模复杂度，因此更适合在线预测。

3.3 实时在线预测

选择在线学习窗口大小为300后，使用该预测模型在线逐点预测50个数据点，不同模型学习窗口在300时的预测效果对比见表2。

从表2可以看出，在线预测情况下，PGBDT取得了最好的预测精度，MAE、RMSE和R2指标上均最优；在预测效率上，LR模型取得了最好的预测效率，其次是SVR和PGBDT，综合来看，PGBDT取得了较好的综合预测结果。

4 结论

(1)提出了一种基于梯度下降回归预测方法的瓦斯浓度预测方法PGBDT，该方法利用历史数据训练梯度下降建立回归模型，通过对缺失值进行预测，实现了针对瓦斯浓度时间序列缺失值的插补。

(2)通过实验，在相同条件下，对不同预测方法在瓦斯浓度数据集上的预测效果进行了比较分析。实验结果表明，PGBDT方法相较于LR、ARIMA、SVR、BP、RNN模型，在预测精度和运行时间方面具有较明显的优势；相较于LSTM和GRU模型，在运行时间方面具有明显优势。对于实时预测模型，PGBDT在预测精度和预测效率上均有较好的优势。

(3)PGBDT模型能够方便快捷地部署到煤矿生产应用领域，进行实时在线的瓦斯浓度预测，对保障煤矿的生产安全和矿工的生命安全具有重要的现实意义。

参考文献：

[1] 董丁稳,李树刚,常心坦,等.瓦斯浓度区间预测的灰色聚类与高斯过程模型[J].中国安全科学学报,2011,21(5):40-45.

[2] 张俭让,申庆涛,常心坦.瓦斯灾害主控因素分析方法研究[J].西安科技大学学报,2012,32(2):149-154.

[3] 贾澎涛,邓军.基于泛平均运算的矿井瓦斯浓度组合预测模型[J].中国安全科学学报,2012,22(6):41-46.

[4] 龚星宇,常心坦,贾澎涛.独立成分分析在瓦斯浓度预测中的应用研究[J].工矿自动化,2015,41(4):82-86.

[5] ZHANG Sirui, WANG Botao, LI Xueen, et al. Research and application of improved gas concentration prediction model based on grey theory and BP neural network in digital mine [J]. Procedia CIRP, 2016, 56:471-475.

[6] 龚尚福,李岩松.基于数据融合的井下瓦斯浓度状态预测[J].西安科技大学学报,2018,38(3):506-514.

[7] DAI Honglei, TIAN Maoyi, LIU Lin,et al. Applied research on the prediction model of coalmine gas disaster based on the LM neural network[J]. Advances in Geosciences. 2012, 2(2):87-92.

[8] XU Minglong, WANG Zhixue, LI Zhiwei, et al. Application of improved genetic algorithm in coal and gas outburst hazard prediction[C].Academic Publishing House. International Journal of Computational and Engineering,2016.

[9] JIA Pengtao, ZHANG Pin.Type identification of coal mining face based on wavelet packet decomposition and LM-BP[C].2018 IEEE 9th International Conference on Software Engineering and Service Science (ICSESS). IEEE, 2018.

[10] 谢国民,单敏柱,付华.基于FOA-SVM的煤矿瓦斯爆炸风险模式识别[J].控制工程,2018,25(10):1859-1864.

[11] 付华,代巍.基于VMD与DE-Elman的瓦斯浓度动态预测[J].辽宁工程技术大学学报(自然科学版),2018,37(4):692-697.

[12] 贾澎涛,吕巧林.基于相关性分析的瓦斯灾害选择集成预测模型[J].计算机应用研究,2019,36(12):3769-3772.

[13] LIANG Rong, JIA Pengtao. Coal mine gas concentration prediction model based on selective ensemble learning[C].The 30th Chinese Control and Decision Conference. 2018.

[14] 李树刚,马莉,潘少波,等.基于循环神经网络的煤矿工作面瓦斯浓度预测模型研究[J].煤炭科学技术,2020,48(1):33-38.

[15] SONG Shuang, LI Shugang, ZHANG Tianjun, et al. Research on a multi-parameter fusion prediction model of pressure relief gas concentration based on RNN[J].Energies, 2021,14(5):1384-1384.

[16] WANG S, HUA G, HAO G, et al. A cycle deep belief network model for multivariate time series classification[J].Mathematical Problems in Engineering, 2017,2017(9):1-7.

[17] WANG S, HUA G, HAO G, et al. A Comparison of different transfer functions for binary version of grey wolf optimizer[J].International Journal of Wireless and Mobile Computing,2017,13(4):261-269.

[18] 李伟山,王琳,卫晨.LSTM在煤矿瓦斯预测预警系统中的应用与设计[J].西安科技大学学报,2018,38(6):1027-1035.

[19] LYU Pingyang, CHEN Ning, MAO Shanjun, et al. LSTM based encoder-decoder for short-term predictions of gas concentration using multi-sensor fusion[J]. Process Safety and Environmental Protection,2020,137:93-105.

[20] 孙卓越,曹垚林,杨东,等.基于长短时记忆神经网络的回采工作面瓦斯浓度动态预测[J].煤矿安全,2019,50(12):152-157.

[21] 张震,朱权洁,李青松,等.基于Keras长短时记忆网络的矿井瓦斯浓度预测研究[J].安全与环境工程,2021,28(1):61-67,78.

[22] 荀晓玉,苏璨,李威,等.基于CNN-LSTM的煤矿瓦斯浓度预测[J].现代信息科技,2020,4(20):149-152.

[23] 程子均,马六章,张翼翔.基于LSTM-FC的瓦斯浓度时空分布预测[J].计算机工程与应用,2020,56(16):258-264.

[24] 马莉,潘少波,代新冠,等.基于PSO-Adam-GRU的煤矿瓦斯浓度预测模型[J].西安科技大学学报,2020,40(2):363-368.

[25] JIA Pengtao, LIU Handduo, WANG Sujian, et al. Research on a mine gas concentration forecasting model based on a GRU network[J].IEEE Access,2020,8 (3):38023-38031.

[26] 常亮,张恒,杨雪欣.一种GRU的瓦斯浓度预测改进模型[J].黑龙江科技大学学报, 2020,30(5):532-535,550.

[27] FRIEDMAN J H . Greedy function approximation: A gradient boosting machine[J].Annals of Statistics, 2001, 29(5):1189-1232.

[28] RUTKOWSKI Leszek, JAWORSKI Maciej, PIETR UCZUK Lena, et al. The CART decision tree for mining data streams[J]. Information sciences, 2014, 266(5) : 1-15.

Online prediction of gas concentration based on gradient boosting decision tree

GUO Fengjing1, WANG Bin2, JIA Pengtao3, SUN Liuyong2, LIAO Yongqiang3

(1. Shaanxi Shanmei Pubai Mining Co., Ltd., Weinan, Shaanxi 715517, China;2. Shaanxi Jianxin Coal Chemical Co., Ltd., Yan'an, Shaanxi 727300, China;3. College of Computer Science and Technology, Xi'an University of Science and Technology, Xi'an, Shaanxi 710054, China)

Abstract In order to accurately and reliably predict the mine gas concentration in real time, combined with the integrated learning theory, a gas concentration online prediction model based on gradient boosting decision tree method (PGBDT) was proposed. The collected historical data of gas concentration was processed by treating abnormal values as missing values, and the missing values were processed by Lagrange interpolation method. On the basis of processed historical data of gas concentration and gradient boosting decision tree method, a gas concentration prediction model was established. The optimal input length of the model sliding window was determined by taking L2 normal form as the loss function to realize online prediction. Linear regression, differential autoregressive moving average, support vector regression, BP neural network, long-short term memory network (LSTM), gated recurrent unit neural network (GRU) were selected as comparison methods to verify the proposed online prediction model of gas concentration. The experimental results show that compared with the linear regression, differential autoregressive moving average, support vector regression, and BP neural network, the PGBDT method has obvious advantages in prediction accuracy and operation efficiency; compared with LSTM and GRU, the PGBDT method has better advantages in operation efficiency. Overall, the PGBDT has achieved good prediction effect, and significantly improved the online prediction efficiency of gas concentration and the generalization ability of prediction model.

Keywords gas concentration; ensemble learning; gradient boosting decision tree; online predication

中图分类号 TD712.5

文献标志码 A

引用格式：郭风景，王斌，贾澎涛，等.基于梯度提升决策树的瓦斯浓度在线预测[J].中国煤炭，2023，49(10)∶61-67.DOI：10.19880/j.cnki.ccm.2023.10.009

GUO Fengjing，WANG Bin，JIA Pengtao，et al. Online prediction of gas concentration based on gradient boosting decision tree [J].China Coal，2023，49(10)：61-67.DOI：10.19880/j.cnki.ccm.2023.10.009

作者简介：郭风景(1972-)，男，陕西延安人，硕士，高级工程师，副总经理，研究方向为煤矿安全、煤矿信息化。E-mail：657291203@qq.com

(责任编辑 张艳华)