基于智能综采集控台人机系统的认知负荷研究

近年来，以综合机械化为标志的现代开采技术已经在我国煤炭行业得到全面的发展，使得我国煤矿实现了由炮采、普采、高档普采到综合机械化开采、自动化开采的跨越，实现了从传统生产模式到现代自动化生产模式的转变，同时在煤层赋存条件较好的矿区，还对智能化、无人化开采技术进行了探索和实践，以期达到更高效、更安全、更环保的目的[1]。随着技术的不断发展，我国智能化开采已经从传统的工作面综采自动化和远程可视化干预模式正在向智能自适应开采技术模式转变，这一技术模式已经在理论层面上进行了深入研究与探索[2]。在智能开采系统不断完善的情况下，研究综采自动化平台操作人员在完成开采操作任务时的认知能力变化至关重要，可以进一步完善智能化开采系统的不足并保证煤矿企业的安全生产。

1 智能化开采作业认知分析

在当前技术条件下，井下作业人员在人机系统中的作用已经从传统的体力劳动者转变成了监视与监控者。井下煤层的赋存条件具有多样性，所以在面临复杂环境和异常任务时，作业人员需要依靠视觉在三维空间对目标进行细致观察，并在极短时间内对观察到的异常信息进行处理并做出反应和决策，由于长时间单调的监控作业易产生注意力疲劳，不仅导致思维效率和思维质量的降低，还会对决策的正确性产生影响[3]。作业人员虽然不再从事繁重重复的机械劳动，体力负荷大幅度下降，但在远程监控调度、异常事件处理等工作中，对信息进行观察处理的类型和结构变得更加复杂，因此需要操作人员具备更高的认知水平去操作设备，此时作业人员脑力负荷和心理负荷的不断增加，极易使其出现认知负荷超载的情况，一旦负荷过高将严重影响作业人员的工作效率及操作设备的可靠性，致使操作人员在行为与识别上出现操作失误等隐患。实现智能化控制后，采煤工作主要由操作人员在集控中心进行操作，现场设置2～3名巡视人员即可[4]。在综采工作面的自动监视中心，工作人员可以通过监视器看到工作面的状况，并可以通过操作平台对工作面的有关设备进行遥控，从而达到在监视中心对全部综采设备进行操控的目的。地面调度中心也可以实现对采煤机、液压支架、刮板输送机等设备的远程监控，使地面管理人员同步掌握采煤工作面生产和安全的实时信息[5]。考虑到未来智能巷道巡视机器人的出现，目前主要对综采中心操作人员的认知能力变化情况进行研究。

针对智能化矿井综采自动化平台的特点，有必要探索作业人员在单调监控场景及虚拟仿真异常情况下是否会影响作业人员的认知能力、认知负荷是否过高以及认知能力在单调监控工作环境及异常突发环境下是否有区别等问题，研究作业人员认知能力的变化对提高作业人员思维决策能力、改善思维效率、积累处理问题的经验都具有指导意义，有助于保障煤矿安全生产。

根据人机工程学，智能化矿井作业人员的认知能力主要受作业因素(作业时间、作业难度)、环境因素(矿井空间限制、操作界面和技术支持)、身体因素(年龄、性格、熟练程度)等影响[6]。环境因素对巷道巡检员影响较大，但对工作面监控员影响甚微，而且巷道巡检员未来会被智能机器人替代，因此主要研究综采集控台与操作人员组成的人机系统。不同工作状况，操作人员的认知负荷的累加速度与恢复速度就不同，根据矿井作业人员的工作模式和流程，可以通过作业难度、作业时长、脑力负荷3方面进行认知研究。

对不同作业人员的工作环境、作业任务进行分析，确定研究对象，结合主观评价问卷来判断认知能力变化，设计智能化工作面采掘虚拟仿真实验，通过分析处理数据及认知负荷程度判断作业人员认知能力的变化程度，建立认知负荷评估模型，提出缓解认知疲劳的措施。主要研究内容包括以下几个方面。

(1)智能工作面自动化监测调度环境模拟。采用中国矿业大学研发的智能工作面开采虚拟仿真实验平台，模拟操作人员远程操控智能设备完成采煤的全过程，基本可以实现综采面监控中心的环境模拟。

(2)认知负荷实验设计。根据认知负荷理论及人机交互过程传递的信息，通过NASA-TLX评价量表主观评定实验、任务绩效测试，并对操作人员认知负荷进行分析评估。在设计实验时，除了考虑采煤过程的操作外，还考虑了操作人员的工作时间、工作量、工作难度等。

(3)基于脑力负荷的认知能力模型构建。为了构建有效的认知负荷评估模型，需要通过调查问卷、效度等手段对综合主观评价指标进行检验，以筛选出最佳的主观评价指标。在此基础上构建认知负荷评估模型，以评估作业人员的认知能力情况，并制定出合理的工作与休息制度。

2 认知负荷评价方法

认知负荷的概念没有统一的界定，不同学科的学者提出了具有学科特征的解释说明。认知负荷可以被看作是一个人在对信息和数据进行处理时所展现出来的一种精神能量，当一个人对更多的信息和数据进行处理时，认知负荷会随之增加[7]。认知负荷主要涵盖2个方面的内容：在理论上，重点关注实验室中进行的各类研究，认知负荷主要是指个人在完成一项任务时应该拥有的心理能量；在实践过程中，认知负荷是指在一定时间内人们对该任务进行处理时所感受到的心理紧张程度[8]。目前常用的主观问卷评价量表为NASA-TLX评价量表，主要以6点或9点为主。

NASA-TLX评价量表作为认知负荷主观测量量表，主要从6个指标角度展开评价，具体包括：脑力负荷(MD)，指完成任务所需要付出的心智活动；体力负荷(PD)，指完成任务过程中需要付出的体力；时间需求(TD)，指完成任务所感受到的紧迫程度；努力程度(EF)，指完成任务需要付出的努力；受挫程度(FR)，指完成任务后的沮丧程度；绩效水平(OP)，指对完成任务后取得成绩的满意程度。受试者完成任务之后，首先要根据回忆对这6个指标进行高低程度评判，每个指标都被分为20等分。除绩效水平外的5个指标，得分越高，表示认知负荷越高。然后受试者要依据实验过程中的感受两两对比主观指标的重要程度，以确定各个指标的权重。最终对各个指标进行综合评判，计算得到6个指标的加权平均值[9]，被试者在完成任务过程中认知负荷水平见式(1)：

式中：TL——被试者在完成任务过程中认知负荷水平；

CMD、CPD、CTD、COP、CEF、CFR——6个评分向度的单独负荷值；

A1、A2、A3、A4、A5、A6——6个评分向度的单独加权数。

3 认知负荷实验设计

3.1 实验目的

实验采用中国矿业大学的研发智能工作面开采虚拟仿真实验平台模拟作业完成过程，收集处理操作人员的测量指标，记录正确率和反应时间来反应任务绩效水平，并处理各个指标数据，分析操作人员在完成不同种类任务时认知负荷水平的变化情况。

3.2 实验设计

3.2.1 实验一设计

实验一主要模拟综采操控平台操作人员发现异常时，手动操控智能设备完成采煤作业的过程。每次实验内容：工作面条件发生异常变化时，完成2个重要的操作过程。任务一是当被试者通过显示屏发现问题时，可以通过手动操作按钮来调节采煤机的左右滚筒截割高度，从而改善曲线模型；任务二是当工作面液压支架在自动跟机作业时出现丢架或动作执行不到位时，被试者通过显示屏发现问题，点击人工操作按钮和控制器按键共同控制液压支架的升柱、抬底、推移刮板输送机等作业动作。以2 h作业时长为一阶段进行数据收集。

3.2.2 实验二设计

实验二为对照组，分析人在长时间监视监控情况下工作时的认知能力变化情况。以2 h作业时长为一阶段进行数据收集。

实验完成后，被试者需要完成一定的实验题目，用于检测被试者反应时间和能力，将实验时间节点设置为2个时间段(分别为2.0～2.5 h、4.0～4.5 h)，由于实验场景不一样，实验难度设计为2个等级(分别记为N=1、N=2)，按照作业时间和实验难度共划分为4个水平，见表1。每个时间段，统计被试者各指标得分、反应时间和正确率等数据。

3.3 实验对象

被试者均为相关专业大学生16名，其中，男生10名、女生6名，身体状态及视力均正常。

3.4 实验题目

数字符号变换测验是一种心理反应测试，它有助于更好地了解大脑的认知功能，这种测验的优势在于可评估人们的“液态智力”，如记忆力和反应速度，从而更好地了解人们的认知能力[10]。

数字符号转换测验如图1所示，图中的数字1～9均对应一个指定的符号，给被试者30 s的时间去记忆相应的符号，并要求他们在每一个数字下面的空格里，由左至右地填写相应的符号，在书写时要保持一致，不能有任何跳跃，这样可以确保每个数字都能被准确地记录下来[11]。记录被试者完成的时间(以s为单位)和正确率。

3.5 实验仪器

运用实验室现有的仪器，结合虚拟仿真实验平台搭建模拟智能化综采操作集控台人机系统。

将2台笔记本作为监视屏和处理屏，共同作为智能综采集控台的显示设备，机械键盘应能模拟控制器键位布置，同时控制器操纵作业键位，可用机械键盘方向键来完成操纵升降作业，鼠标应能完成辅助作业任务。根据现有的仪器及智能综采集控台实际空间关系，搭建出一个模拟的智能综采调度中心。远程监控及操作界面如图2所示。

3.6 实验步骤及注意事项

实验的基本步骤及注意事项包括以下几点：

(1)实验前被试者身体状态良好、情绪稳定；

(2)测试中不可服用任何药物，不服用刺激神经的相关物品，不可在4 h以内进行剧烈运动；

(3)实验前被试者应能熟练操作设备仪器，可降低情绪焦虑紧张造成的实验偏差；

(4)实验前提前调试设备软件，每次实验开始时，被试者初始状态为左手在机械键盘对应按键处，右手手持鼠标，显示器提示工作面条件发生改变时，被试者通过鼠标点击到手动操作提示区域；

(5)鼠标点击提示区域后，被试者会有10 s间隔时间转换视角到另一台处理屏界面上；

(6)间隔10 s结束后，处理屏上会跳转到采煤机人工操作视角，被试者需要通过控制器上的按键调整采煤机左右滚筒截割高度，使采煤机按照截割修改曲线完成采煤工作；

(7)任务一结束后，需要被试者回到左手在机械键盘对应按键处，右手手持鼠标的初始状态，视角重新回到监控屏上，准备进行下一次任务；

(8)实验一是模拟操作采煤过程中的割煤、移架等工序，实验一的任务一的操作步骤与任务二相似，每组需要完成16次实验，实验二由于只模拟监控过程，不对异常情况进行考虑；

(9)分别在完成实验一和实验二后，被试者还需要在相应时间完成规定的题目，记录其反应时间和正确率；

(10)完成上述流程后，填写主观评价调查问卷、整理设备，以获取所需数据。

3.7 数据收集与整理

(1)任务过程正确率和反应时间。在实验后2、4 h这2个时间段采集整理数据。

(2)认知负荷主观评价。实验后整理收集被试者填写的NASA-TLX量表问卷。

(3)运用社会科学统计软件包(SPSS)对数据进行归类统计，通过不同的数学方法确定数据的有效性。

4 实验结果与分析

4.1 NASA-TLX量表分析

4.1.1 NASA-TLX量表描述性统计

NASA-TLX量表结果显示，第一水平被试者认知负荷值为15.88，第二水平实验者认知负荷值为31.75，第三水平实验者认知负荷值为46.51，第四水平实验者认知负荷值为65.13。4次实验中占比最大的指标是脑力需求，分别为24.02%、22.24%、22.98%、23.70%，其他各指标的统计值见表2～5。

4.1.2 主观问卷调查分析

主观问卷调查一般常用来评估人们在完成工作过程中心理状态的变化情况。16名被试人员在4个水平下主观认知状态的变化情况如图3所示。

由图3可知，一方面随着作业时间和实验难度的增加，被试者的主观感受分值依次呈上升趋势，表明认知能力程度会逐渐降低；另一方面人员在异常情况时手动操控解决问题时的认知能力明显低于一般监控任务时的主观认知能力，说明异常情况状态下会加重人员的认知负荷程度。

4.2 主观评价指标信度分析

信度用于衡量某个测量方法是否可靠，表示为真实值方差和评价值方差的比。但在实践中由于无法求得真实值及方差，因此信度分析主要采用重测信度法、复本信度法、α信度系数法等各种间接测量方法[12]。

4.2.1 内部一致性信度

数据分析在现代社会中变得越来越重要，而SPSS则是其中一种流行的数据分析工具。SPSS数据分析是一种统计方法，用于从数据中提取信息、预测趋势并制定决策。

通过SPSS对NASA-TLX量表的数据进行信度分析，在不同任务难度和不同时间对6个主观指标进行测量，采用克伦巴赫系数法进行分析，见式(2)：

式中：α——信度值；

m——测试题目数；

Si——第i个指标的标准差值；

Sx——指标总分标准差。

本次研究通过任务难度及时间长度将实验划分为4个水平，求得被试者在各个水平下6个主观指标的克伦巴赫α系数，以检验数据的可靠程度，见表6，表中Sx的值由4.1.1可得，表示所有认知负荷指标总分之间的标准差。

根据表6数据结果，在第二、三、四水平下，克伦巴赫α系数达到心理学要求量表的标准水平，可靠性较好。第一水平α值低于0.6的原因可能是被试者在较短时间内身体状态变化较小难以度量。单一的评判标准无法反映出指标数据的可靠性，还需做相关性分析进一步检验。

4.2.2 主观评价指标相关性分析

被试者在4个水平下完成实验，NASA-TLX量表共收集了64组数据，运用Pearson相关性分析对各个主观评价指标之间的相关程度及各指标分值与总体分值的相关程度进行研究。NASA-TLX量表各指标与总分相关性分析如表7和图4所示。

由表7可知，脑力需求、体力要求、时间需求、绩效水平、努力程度、受挫程度6个主观评价指标与总评分的相关性系数在0.797～0.986范围内，相关性系数均大于0.5，相关性显著，且差异性P均小于0.01，具有统计学意义。由图4散点图也可知，各主观评价指标与总评分呈正相关关系。

通过对6个主观指标进行信度分析和相关性分析，克伦巴赫系数和相关性系数都符合要求，因此6个指标均可作为评判操作人员认知负荷的指标。

4.3 主观评价指标效度分析

效度主要用来检验实验的可信度，也就是测试被试者真实的心理感受与实验数据相符合的程度，但目前该领域的研究多局限于主观评价，缺乏有效的评价方法，目前常用结构效度和区分效度分析评价。效度分析一般先采用探索性因素分析检验和建构量表结构，再采用验证性因素分析检验量表的建构效度[13]。

4.3.1 结构效度分析

KMO(Kaiser-Meyer-Olkin)检验和Bartlett球形检验是统计学中常用的2种方法，用于评估数据是否适合进行因子分析和相关分析。KMO检验是用来衡量数据中公共因子与原始变量之间的相关程度，取值范围为0～1。一般来说，KMO值越接近1，说明因子分析的效果越好，当KMO值小于0.5时，就不适合进行因子分析。

Bartlett球形检验用于检验数据是否符合球形分布，即各变量之间是否相互独立。在因子分析中，如果变量之间存在多重共线性，那么球形假设就被破坏，即认为变量之间不独立，不适合进行因子分析。在SPSS中进行因素分析有关于Bartlett球形检验的选项时，如果差异性值P值小于0.05，则数据呈球形分布。

通过SPSS对16名被试者在实验后得到的6个主观指标测量进行检验，Bartlett球形检验统计量为482.503，相应的概率P为0，表明统计量之间相关性较强。同时，KMO值为0.762，根据 Kaiser 给出的KMO度量标准可知原有变量适合作因子分析。

KMO检验和Bartlett球形检验只是因子分析的前置条件之一，还需要结合主成分分析来对测得的影响被试者认知负荷的主观评价因素提取公共因子。通常会选择特征值大于1且累计贡献率达到60%的前几个因子作为主因子，因为它们解释了认知负荷变化的绝大部分原因。利用最大方差法对提取的主因子的载荷矩阵进行旋转，旋转后的载荷矩阵与原指标的关系见表8。每个主因子成分都可由各指标与其载荷值的线性表达式表示。

结果表明，根据特征根不小于1的条件，共提取一个主因子(F1)，因子F1的成分(特征值表示)由各主观评价指标公因子方差构成，总体累计贡献率82.637%，表明量表结构效度好，且各指标区分性较好，可评估各种负荷。体力要求指标相对于其他指标对被试者认知负荷的影响程度较小，可根据需要删减。

4.3.2 区分效度分析

被试者的认知能力主要受到作业难度及作业时间的影响，使用SPSS对不同水平的主观指标分值作方差分析，结果见表9。

6个主观评价指标在不同实验水平下的差异具有统计学意义(P<0.001)，表明这6个指标在用来判断井下作业认知能力时具有可靠性。

根据各个主观评价指标的分值与总分值的相关性分析及各个主观评价指标的主成分分析，选择因子值大于0.85的值，对其进行分值排序，顺序依次是脑力需求>努力程度>时间需求。因此最终确定这3个主观指标可以作为检验智能化操作人员的认知能力评判指标。

4.4 任务绩效评价

使用t检验对任务绩效数据进行处理，以探究被试在单调监控任务和异常情况处理中的任务绩效是否存在差异。对比2组实验的绩效数据，将4个水平按照任务难度归为两类，第一、三水平作为一组，第二、四水平作为一组，分析其完成任务后的反应时间及正确率，统计数据见表10～13。

由表11和表13可得出，第一、三水平被试者正确率和反应时间差异的t检验P值都小于0.05，表明第一水平和第三水平被试者的认知能力差异显著。同样第二、四水平被试者正确率和反应时间差异的t检验P值也都小于0.05，第二水平和第四水平被试者的认知能力差异显著。

通过t检验对任务绩效数据进行预处理，分析被试者在相同时间段内、不同实验难度下任务绩效的差别。由表10和表12可知，被试者进行第四水平的操作任务时，正确率和反应时间比其他3个水平有明显降低。

4.5 认知能力评估模型

通过信度、效度等手段对主观评价指标的研究，最终筛选出脑力需求、时间需求及努力程度3个可靠指标来构建智能化综采操作人员的认知能力综合评估模型。根据认知负荷值的大小对4个水平的认知能力依次赋值为1～4，根据采集的每个水平下的脑力需求、时间需求、努力程度指标值(共64组)，采用线性回归分析的方法。将3个指标与相应的认知水平作了散点图表，在此基础上，利用线性回归方法对3个研究对象的各项指标与其认知功能进行了线性回归分析，找出了能够较好预测被试者认知能力改变程度的最优回归函数，曲线回归模型参数估计值见表14。

根据3个指标与对应认知能力的关系和曲线回归分析，确定脑力需求、时间需求、努力程度都与认知能力之间的关系为三次函数时，拟合度R2最佳，因此确定认知能力与3个指标之间的最佳关系为三次函数。分别以脑力需求、时间需求、努力程度3个指标值为自变量(x1，x2，x3)共64组数据，认知能力作为因变量y，将4个实验水平的认知能力赋值按照认知负荷值排序依次赋值1～4。运用SPSS做多元非线性回归，构建认知能力多指标评估模型，多元回归模型参数估计值见表15，3个指标值与认知能力趋势分析如图5所示。

由表15可知，经过多元非线性回归分析结果显示回归效果好，所以基于智能化综采操作人员脑力负荷的认知能力综合评估模型(R2=0.962)见式(3)：

根据认知能力评估模型及任务绩效评价可知，被试者在长时间工作的情况下，脑力负荷过高、反应时间较长，对事物的认知能力明显下降。部分操作人员在工作4 h后，遇到异常情况时其认知能力已经不足以支持操作人员迅速作出反应。

5 结论与展望

研究以解决在智能化开采作业时对作业人员认知能力的影响为目的，引入了认知负荷的概念，探讨了认知负荷的测量方法，之后设计了认知负荷与认知能力实验，通过信效度手段检验主观指标的可靠性，最后根据筛选出的最优主观指标，具体分析主观指标与认知能力的关系，构建了智能化综采操作人员的认知能力综合评估数学模型。

(1)设计智能化综采集中控制平台人机系统认知负荷实验，按照实验时间和实验难度将实验划分为4个水平，通过认知负荷主观感受评价表和任务绩效测量判断被试者的认知能力变化情况。

(2)实验结果表明，第一水平实验者认知负荷值为15.88，第二水平实验认知负荷值为31.75，第三水平实验者认知负荷值为46.51，第四水平实验者认知负荷值为65.13。被试者进行第四水平的实验操作时，正确率和反应时间比其他3个水平有明显降低。

(3)通过SPSS信效度手段检验主观指标的可靠性，筛选3项指标构建了智能化综采操作人员的认知能力综合评估数学模型。根据分析结果和主观评价，一定程度上有助于判断操作人员认知能力的变化。

通过对操作人员认知能力变化状况的研究，提出要建立合理的作业制度，确保安全生产。可以根据工作面工作进度和操作人员身体状况，制定合理的作业时间，减少夜班工作量，可以考虑将三八制的工作制度该为四六制。增加操作人员数量，轮班休息，根据操作人员的身体素质、年龄、经验等合理组队，合理安排工作任务，减轻操作人员的作业负担。定期对操作人员进行体检及心理疏导，时刻把握员工身心健康，可设立趣味活动，帮助操作人员缓解疲劳，有助于加快认知能力恢复速度，提高工作效率。

[1] 王国法,刘峰,孟祥军,等.煤矿智能化(初级阶段)研究与实践[J].煤炭科学技术,2019,47(8):1-36.

[2] 王国法,张良,李首滨,等.煤矿无人化智能开采系统理论与技术研发进展[J].煤炭学报,2023,48(1):34-53.

[3] 陈为. 精细追踪类作业的认知行为分析及建模研究[D].武汉:华中科技大学,2016.

[4] 邢鹏飞. 智能化综采集控台工效改善与认知负荷评价[D].徐州:中国矿业大学,2022.

[5] 吕铂,杨黎,李业.智能化改造技术在朱家湾煤矿综采工作面中的应用[J].电子技术与软件工程,2022(22):152-155.

[6] 刘上海. 基于员工行为可靠性的石油公司生产安全风险研究[D].成都:西南石油大学,2014.

[7] 陈芊伶,万莉,江强.认知负荷理论视角下的教材编写特点研究——以鲁科版“氧化还原反应”内容为例[J].化学教学,2022(7):13-18,56.

[8] 沈怡伶,王润梅.认知负荷理论视角下中学Python编程课程教学策略研究[J].电脑知识与技术,2022,18(33):155-157.

[9] 李佳益. 飞机驾驶舱数字界面可视化设计及其认知负荷研究[D].南京:南京航空航天大学,2020.

[10] 刘志宏,姚齐和,徐贵,等.高血压病患者数字符号转换测验结果分析[J].齐齐哈尔医学院学报,1993(2):61-64.

[11] 梁家铭. 视觉认知训练延缓老年人轻度认知功能障碍的作用机制[D]. 杭州:浙江大学,2018.

[12] 汪邦军,耿金凤,戴伟,等.航空软件研制过程质量评价及信度效度分析[J].计算机集成制造系统,2016,22(9):2175-2186.

[13] 蒋召彬,陈永侠,王胜男,等.疫情常态化防控时期护士工作压力源量表的初步编制及信度和效度分析[J].职业卫生与应急救援,2022,40(3):287-292.