空管语音智能监控系统的制作方法

1.本发明涉及一种空管语音智能监控系统。


背景技术：

2.在民航领域航空管制中，需要针对地面塔台与航空器进行多种语言沟通，在进行语言沟通的过程中，难免因为人为因素造成沟通的错误。虽然随着人工智能、语音识别技术的发展，已经逐渐在民航领域得到应用，但在将人工智能、语音识别等技术应用于航空管制领域时，系统相应的及时性、准确性、稳定性是至关重要的问题，一旦一环出现问题，可能会导致更严重的问题。因此，提供一种能够同时满足及时性、准确性、稳定性民航领域空中管制系统，仍是亟待解决的实际问题。


技术实现要素：

3.有鉴于现有技术中存在的问题，本发明的一个目的在于提供一种空管语音智能监控系统，能够确保空管语音指令下发的准确性。
4.本发明的空管语音智能监控系统，其特征在于，包括：接口模块，其用于与现有的空管系统进行接入；接入处理模块，其经由接口模块采集空管语音通话的内容数据；语音识别模块，其实时地从接入处理模块获取空管语音，并将空管语音识别为可读文本；解析模块，其对由语音识别模块生成的可读文本进行语义解析；和监控模块，其根据解析模块的结果，对空管语音的指令安全性进行监控，并在监控到异常的情况下发出告警。
5.根据本系统，能够与现有的民航通信、管理系统接驳，对空管语音通话的内容智能识别，为民航空管系统智能化提供完整的应用模型。
6.优选本发明的空管语音智能监控系统，其特征在于，监控模块进行指令与飞行进程符合性判断，在指令与飞行进程符合性判断中，判断时序上前后关联的空管指令和应答语音是否符合飞行进程。
7.还优选本发明的空管语音智能监控系统，其特征在于，监控模块进行飞行进程与飞行程序符合性验证，在飞行进程与飞行程序符合性验证中，判断空管语音下达的飞行指令是否符合机场运行最低标准，至少包括从接入模块获取的能见度(vis)、跑道视程(rvr)、最低下降高度、决断高度、云底高。
8.还优选本发明的空管语音智能监控系统，其特征在于，监控模块进行指令复诵警示，在指令复诵警示中，将管制员的空管语音与飞行员的复诵语音进行识别和解析的结果进行比对，判断双方通话的语义解析的结果是否一致，在判断结果为不一致时发出复诵警告。
9.进一步优选本发明的空管语音智能监控系统，其特征在于，复诵警告包括：未复诵警告：管制员下达指令后，一定时间内飞行员没有应答，则触发未复诵告警；复诵错误告警：飞行员的复诵语义与管制员的指令中的关键内容保持一致，否则触发复诵错误告警；误领指令：因意外的错误导致管制员对指定飞行器的空管指令被另一飞行器领取。
10.还优选本发明的空管语音智能监控系统，其特征在于，
11.监控模块进行指令与航空器动态一致性检测，
12.在指令与航空器动态一致性检测中，对空管指令和航空器动态进行实时跟踪和安全性检测，当出现以下情形时，发出告警：(1)航空器的实际飞行状态与管制指令不符合时；(2)航空器在机坪的位置或动态不符合管制指令时；(3)存在跑道侵入风险时；(4)航空器飞错进离场程序时；(5) 航空器进入净空障碍物危险区时。
13.还优选本发明的空管语音智能监控系统，其特征在于，监控模块进行相似航班号检测，在相似航班号检测中，当监视到有相似航班号的飞行器进入管制空域时，开启高安全级别，向语音识别模块和解析模块发送高安全级别信息，使语音识别模块和解析模块在对空管语音进行解析时，以高安全级别方式执行空管语音识别和文本解析。
14.通过对监控模块赋予具有实际意义的功能，能够有效监控空管语音通话中管制员的语音指令可能存在的错误内容，以及航空器的飞行员是否正确的掌握空管指令的内容。从而实现安全可靠的空管语音智能监控系统。
15.此外，优选本发明的空管语音智能监控系统，其特征在于，语音识别模块包括：音频输入单元；特征提取单元，其通过频域变换将一维时域语音信号映射到高维频域空间以提升信号的表征能力和区分度；语种分类单元；识别单元，其根据语种分类单元的分类结果，对输入的语音信号分别按照中文和英文的语种分类在声学模型部和语言模型部进行识别；以及文本生成单元，其空管语音的通话文本的文本信息。
16.通过对语音识别模块进行上述改进，能够使现有的语音识别技术更适合民航空管语音通话的实际情况，大大提高处理效率和准确性。
17.此外，优选本发明的空管语音智能监控系统，其特征在于，解析单元 400对由语音识别模块生成的文本信息以循环神经网络(rnn)深度学习方法建模的模型，对空管语音语句进行语义解析。
18.通过语义解析，能够结合民航空管语音通话的特点得到准确的解析结果，该解析结果可以应用于各种可能发生的危险情况的判断，并且可使判断结果更可靠。
19.本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
20.图1是本发明优选实施方式的系统结构框图。
21.图2是本发明优选实施方式中语音识别模块的结构框图。
具体实施方式
22.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
23.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
24.下面，结合具体实施方式对本发明进行详细说明。
25.本实施方式中的空管语音智能监控系统1包括接口模块100、接入处理模块200、语音识别模块300、解析模块400、监控模块500、交互模块 600。
26.其中，接口模块100用于与现有的空管系统进行接入，并与本实施方式的空管语音只能监控系统的其他模块进行数据的收受。接入处理模块200 经由接口模块100采集空管语音通话的内容数据，接入处理模块200采集的地空通话的内容数据发送至语音识别模块300。在语音识别模块300中，对地空通话的内容数据中包含的完整语音对话的部分进行切分，并对切分的地空通话的内容数据进行识别，生成通话文本。解析模块400对地空通话的通话文本进行解析，从通话文本中解析管制指令参数，生成电子进程单。监控模块500对管制指令进行合理性判断，在满足预警告警条件的情况下，生成告警信息。交互模块600实时显示告警信息、管制指令信息等。
27.·
接入处理模块200
28.在本实施方式中，接入处理模块200是使现有的航空信息系统与本实施方式的空管语音智能监控系统实现互通的重要手段，接入处理模块200 选择地从接口模块100接收现有系统的空管信息，包含：
29.1)ads-b：支持ads-b系统输出的数据格式；
30.2)飞行计划：支持报文系统输出的报文格式；
31.3)空管语音：模拟语音信号；
32.4)气象信息：支持报文系统输出的气象报文格式；
33.5)时钟信息：nmea0183格式数据。
34.接入处理模块200针对接收到的各类型空管信息，接入处理模块200 进行数据校验、数据解析、数据关联和数据处理等处理，形成定义的数据格式支持本系统后续应用。
35.·
语音识别模块300
36.语音识别模块从接入处理模块200接收实时地空(管制员-飞行员)通话的空管语音，将空管语音识别为可读文本，实现空管语音信号表现方式的转换，即从管制员发出语音指令的模拟语音信号到计算机可显示的人类可读文本，识别内容优选包括：航空器呼号、管制单位呼号、推出、滑行、跑道外等、进跑道、起飞、穿越跑道、数字、字母、联系频率、导航台等。
37.我国民航管制过程中，一般使用双语种进行地空通话，管制员使用英语与国际航班/飞行员交流、使用中文与国内航班/飞行员交流，由于中英文的发音特征具有较大差异，且国内管制员对中英文通话和理解的熟练程度也不一致，因此本实施方式分别针对中文和英文的空管语音识别进行研究，构建如图2所示的空管语音识别框架。
38.如图2所示，在语音识别模块300中，空管语音识别框架包括，音频输入单元301、特征提取单元302、语种分类单元303、识别单元304和文本生成单元305。
39.根据本实施方式的空管语音智能监控系统，由于在实际使用中，语音信号的输入在时域的表征较为单一(仅包含幅值)、且其差异性较小，因此类似的语音幅值系列可能包含完全不同的通话内容。为此，在特征提取单元302中通过频域变换将一维时域语音信号映射到高维频域空间以提升信号的表征能力和区分度。由于输入的语音信号均为空管语音,语音中中英文语音的发音特征、词汇表集合存在较大差异，因此在语种分类单元303中，通
过先分类再识别的方式，利用中英文语音信号在频率域特征上的分布和强度差异识别其语种属性，然后在识别单元304中利用独立的中英文声学模型实现语音信号到文本的转换。这样，不但使空管语音的语音识别具有更好的执行效率，而且能够获得高精度的空管语音到通话文本的识别。
40.在识别单元304中，针对中文和英文分别采用先进的基于深度学习的结构的声学模型部3041，利用神经网络在非线性特征方面强大的表征能力，基于大量的训练数据优化神经网络参数以拟合空管语音数据的特征分布，建立语音特征与文本标签之间的概率映射关系。声学模型解决一个全局最优的序列分类问题，其主要目的是将任意语音信号帧分类到不同的词汇单元并预测其属于词汇表中每个词汇的条件概率大小。
41.在声学模型部3041之后的语言模型部3042中，针对中文和英文分别设置语言模型的解码流程，通过循环神经网络学习管制场景下空管语音的行文方式和词汇依赖关系、搭配规律以校正声学模型的识别结果，最终提高空管语音识别的性能。在语言解码过程，基于语言模型搜索声学模型预测的概率序列中的最佳路径组合即为本方案语音识别结果的最终输出结果。最后，由文本生成单元305生成空管语音的通话文本的文本信息。空管语音空管语音空管语音
42.·
解析模块400
43.解析单元400基于循环神经网络(rnn)的深度学习方法，通过对大量的空管语音对话样本数据进行训练、建立模型，利用模型对空管语音语句进行语义解析。
44.在本实施方式中，解析单元400的解析对象为由语音识别模块300生成的通话文本。
45.在解析单元400中，空管语义解析模型是空管语义解析的核心要素，其功能是对说话者的意图进行识别确认以及从通话文本当中提取其对应的语义成分，进行意图检测和语义槽填充。由于意图和语义本身是相互关联的，因此本实施方式使用了联合处理的训练方法，利用一个神经网络模型来统一的进行意图检测和语义槽填充。
46.首先，在离线过程中，进行空管语义解析模型的训练，包括从空管语音通话中筛选出有意义的空管指令对话，然后利用空管指令标注工具制作为训练样本数据，通过空管语义解析模型训练择优得到空管语音解析模型。
47.然后，在在线过程中，使用训练得到的空管语义解析模型对语音识别模块300识别的通话文本实时进行解析，模型解析的结果再经由后处理优化后输出，将空管指令语义解析结果反馈给请求方。
48.·
监控模块500
49.在本实施方式中，监控模块500根据空管语音的解析结果进行监控，进行指令与指挥进程符合性判断501、飞行进程与飞行程序符合性验证502、指令复诵警示503和指令与航空器动态一致性检测504、近似航班号检测 505。下面逐一进行详细说明。
50.在指令与飞行进程符合性判断501中，判断管制员的空管指令是否符合飞行进程。航空器从停机位推出到起飞要经历一系列的飞行申请和接受管制指挥：放行申请、同意放行、请求推出、同意推出、请求滑行、同意沿规定的跑道滑行、滑行、请求使用跑道、跑道外等待、进入跑道、起飞、联系规定单位等。降落过程也同样会产生在时序上前后关联的空管指令和应答语音，系统通过识别和解析这些语音，从而由监控模块500判断管制员的指挥是否
符合飞行进程。当检测到空管指令不符合飞行进程时通过交互模块600发出提示信息及时向管制员告警以进行纠正。
51.在飞行进程与飞行程序符合性验证502中，判断管制员的空管指令与飞行程序是否符合。飞行程序是指为航空器在机场区域运行所规定的、按顺序进行的一系列机动飞行的要求，如飞行区域、航迹、高度、速度的规定和限制等。监控模块500对空管语音进行识别和理解，并从接口模块100 获取气象信息以及预置的机场运行程序，验证空管指令与机场飞行程序是否符合，对表示起飞降落指令的管制指令是否符合机场运行最低标准进行判断，该最低标准至少包括从接入模块200获取的能见度(vis)、跑道视程(rvr)、最低下降高度、决断高度、云底高等。当监控模块500检测到飞行进程与飞行程序不符合时，通过交互模块600向管制人员告警以进行纠正。
52.在指令复诵警示503中，将管制员和飞行员的空管语音进行匹配，判断双方意图是否一致。监控模块500通过对空管语音语义进行识别和解析，将管制员的空管语音与飞行员复诵语音的通话对进行匹配，而后判断通话双方的意图是否一致，确保飞行员对管制员指令的正确收听与理解。
53.在本实施方式中复诵告警包含：未复诵、复诵错误、误领指令。
54.未复诵告警是指管制员下达指令后，一定时间内飞行员没有应答，则触发未复诵告警。该告警可以确保指令传达的及时性，防止飞行员漏听指令。
55.复诵错误告警是指飞行员的复诵语义与管制员的指令中的关键内容保持一致，否则触发复诵错误告警。该告警可以保证指令传达的正确性与完整性，防止飞行员听错、漏听部分指令。
56.误领指令是指因意外的错误导致管制员对飞行器a的指令被飞行器b 误领，该告警可以保证指令传达对象的准确性，防止飞行员误听、误领指令。
57.在指令与航空器动态一致性检测504中，对空管指令和航空器动态进行实时跟踪和安全性检测。监控模块500根据机场的飞行程序、净空数据、跑道等信息建立数据模型，并根据语音识别和语义解析结果，提取管制指令关键参数如跑道号、高度层、飞行程序等数据，以及系统接收到的ads
‑ꢀ
b数据和管制指令上下文信息，并将这些数据输入数据模型，从而实现对管制指令和航空器动态进行实时跟踪和安全性检测。当出现以下几种情形时，通过交互模块600向管制员发出警示。
58.(1)航空器的实际飞行状态与管制指令不符合时
59.(2)航空器在机坪的位置或动态不符合管制指令时
60.(3)存在跑道侵入风险时
61.(4)航空器飞错进离场程序时
62.(5)航空器进入净空障碍物危险区时
63.由此，能够进一步保障管制员发出的管制指令的安全性，避免人为失误隐患。
64.在相似航班号检测505中，监控模块500从接入模块200获取管制空域内的全部航班号的信息，根据预先存储的相似航班号规则库5051，对进入管制空域的航班号进行监视，当监视到有相似航班号的飞行器进入管制空域时，开启高安全级别，通过交互模块600向管制员发出警示，并向语音识别模块300和解析模块400发送高安全级别信息，使语音识别模块300 和解析模块400在对空管语音进行解析时，以高安全级别方式执行空管语音识别和
文本解析。
65.此时，解析模块400优选采用如下处理流程，解析模块400仍旧以较低的安全级别对全部空管语音进行语音识别和文本解析，当解析到近似航班号的通话文本时，启动高安全级别，重新对该识别和解析的空管语音进行空管语音识别和通话文本解析。在重新对该涉及到近似航班号的通话文本进行识别和解析时，可以截取空管语音中包含航班号信息的通话部分，而仅对包含航班号信息的通过部分以高安全级别进行语音识别和文本解析。
66.监控模块500通过设置多个安全级别，能够在管制空域内存在相似航班号的飞行器时，有效地提醒管制员予以注意，以更清晰的空管语音对相关航空器进行管制指令的发送，避免发生错发指令、飞行员误听指令的情况，另一方面，通过与解析模块400协同工作，能够保证管制指令被更准确的识别和解析，尽可能降低因系统识别精度的问题造成错发指令、飞行员误听执行的情况发生。而且，解析模块400通过先以较低安全级别对全部空管语音进行语音识别和文本解析，当解析到近似航班号的通话文本时，启动高安全级别，重新对该识别和解析的空管语音进行空管语音识别和通话文本解析，能够保证众多空管语音识别的处理效率，避免因提高安全级别而影响空管语音的识别和解析的速度，造成较大延迟，影响空管指令的下达速度。进而，解析模块400通过截取空管语音中包含航班号信息的通话部分，而仅对包含航班号信息的通过部分以高安全级别进行语音识别和文本解析，能够以最小的系统代价对关键信息以高安全级别进行识别和解析，能够在保证准确性的基础项，尽可能提高空管指令识别和解析的效率，避免空管指令识别和解析的延迟。
67.·
交互模块600
68.在本实施方式的空管语音智能监控系统中，交互模块600的主要功能是：支持实时态势显示、事后统计分析显示；以图表、地图等多种方式显示空中交通态势，以对话方式实时显示地空通话并同时进行语音播报，以声、光等多种方式提示各类告警信息；支持专业终端、移动平板以及web浏览器等形式的显示与控制。
69.在本实施方式中，交互模块600包括：基础地理图层显示601，以及与监控模块500相应设置的复诵告警显示602、潜在冲突告警显示603、相似航班号提示604、航迹信息显示与操作605、扇区及扇区信息显示606。
70.基础地理图层提供地理背景信息为航迹提供实时态势显示的场景。地理背景信息的基础上显示包含但不限于如下内容：机场位置与范围、航空器、航路航线、导航台、报告点等信息。
71.在复诵告警显示602中，在识别模块300和解析模块400对空管语音进行识别和解析的基础上，对飞行员复诵指令与管制员发布的空管指令进行比对，对于判断为错误的情况以复诵告警单的形式发出告警通知，并根据不同的类型的错误以不同颜色标示。
72.与上述对监控模块500相应地，在交互模块600中对于复诵告警分为以下三种告警类型：(1)未复诵，例如告警单颜色标注为淡黄色；(2)复诵错误，例如告警单颜色标注为黄色；(3)误领指令，例如告警单颜色标注为红色。
73.在本实施方式中，复诵告警显示602以及此后要说明的其他告警显示中生成的告警单，其显示信息均包括：航班号，航班号所在扇区，该告警关联航班的高度、速度、航向，而对于复诵告警显示602中生成的告警单，还包括管制员发出空管指令的时间，飞行员应答的时间，以及复诵错误信息。
74.在发生复诵告警时，告警单弹出，错误信息区域字体高亮显示，以突出告警信息，还可包括语音播报告警信息，同时交互模块600调取与告警关联的航迹信息，并激活该告警关联的航迹标牌。
75.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种空管语音智能监控系统，其特征在于，包括：接口模块，其用于与现有的空管系统进行接入；接入处理模块，其经由接口模块采集空管语音通话的内容数据；语音识别模块，其实时地从接入处理模块获取空管语音，并将空管语音识别为可读文本；解析模块，其对由语音识别模块生成的可读文本进行语义解析；和监控模块，其根据解析模块的结果，对空管语音的指令安全性进行监控，并在监控到异常的情况下发出告警。2.如权利要求1所述的空管语音智能监控系统，其特征在于，监控模块进行指令与飞行进程符合性判断，在指令与飞行进程符合性判断中，判断时序上前后关联的空管指令和应答语音是否符合飞行进程。3.如权利要求1所述的空管语音智能监控系统，其特征在于，监控模块进行飞行进程与飞行程序符合性验证，在飞行进程与飞行程序符合性验证中，判断空管语音下达的飞行指令是否符合机场运行最低标准，至少包括从接入模块获取的能见度(vis)、跑道视程(rvr)、最低下降高度、决断高度、云底高。4.如权利要求1所述的空管语音智能监控系统，其特征在于，监控模块进行指令复诵警示，在指令复诵警示中，将管制员的空管语音与飞行员的复诵语音进行识别和解析的结果进行比对，判断双方通话的语义解析的结果是否一致，在判断结果为不一致时发出复诵警告。5.如权利要求4所述的空管语音智能监控系统，其特征在于，复诵警告包括：未复诵警告：管制员下达指令后，一定时间内飞行员没有应答，则触发未复诵告警；复诵错误告警：飞行员的复诵语义与管制员的指令中的关键内容保持一致，否则触发复诵错误告警；误领指令：因意外的错误导致管制员对指定飞行器的空管指令被另一飞行器领取。6.如权利要求1所述的空管语音智能监控系统，其特征在于，监控模块进行指令与航空器动态一致性检测，在指令与航空器动态一致性检测中，对空管指令和航空器动态进行实时跟踪和安全性检测，当出现以下情形时，发出告警：(1)航空器的实际飞行状态与管制指令不符合时；(2)航空器在机坪的位置或动态不符合管制指令时；(3)存在跑道侵入风险时；(4)航空器飞错进离场程序时；(5)航空器进入净空障碍物危险区时。7.如权利要求1所述的空管语音智能监控系统，其特征在于，监控模块进行相似航班号检测，
在相似航班号检测中，当监视到有相似航班号的飞行器进入管制空域时，开启高安全级别，向语音识别模块和解析模块发送高安全级别信息，使语音识别模块和解析模块在对空管语音进行解析时，以高安全级别方式执行空管语音识别和文本解析。8.如权利要求1所述的空管语音智能监控系统，其特征在于，语音识别模块包括：音频输入单元；特征提取单元，其通过频域变换将一维时域语音信号映射到高维频域空间以提升信号的表征能力和区分度；语种分类单元；识别单元，其根据语种分类单元的分类结果，对输入的语音信号分别按照中文和英文的语种分类在声学模型部和语言模型部进行识别；以及文本生成单元，其空管语音的通话文本的文本信息。9.如权利要求8所述的空管语音智能监控系统，其特征在于，解析单元对由语音识别模块生成的文本信息以循环神经网络(rnn)深度学习方法建模的模型，对空管语音语句进行语义解析。

技术总结
本发明提供了一种空管语音智能监控系统，其特征在于，包括：接口模块，其用于与现有的空管系统进行接入；接入处理模块，其经由接口模块采集空管语音通话的内容数据；语音识别模块，其实时地从接入处理模块获取空管语音，并将空管语音识别为可读文本；解析模块，其对由语音识别模块生成的可读文本进行语义解析；和监控模块，其根据解析模块的结果，对空管语音的指令安全性进行监控，并在监控到异常的情况下发出告警。根据本系统，能够与现有的民航通信、管理系统接驳，对空管语音通话的内容智能识别，为民航空管系统智能化提供完整的应用模型。型。型。


技术研发人员：李学知 张彪 张栋 沈皓帆 王依林
受保护的技术使用者：首都机场集团有限公司
技术研发日：2021.11.23
技术公布日：2022/3/7