语病识别方法、装置、电子设备和存储介质与流程

1.本发明涉及自然语言处理技术领域，尤其涉及一种语病识别方法、装置、电子设备和存储介质。


背景技术：

2.在文本输入过程中经常由于各种原因导致输入的文本存在语病，例如拼写别字、搭配不当、成分残缺等均可能导致文本中存在语法错误、语义不明等问题。
3.目前，多通过语言表示模型bert(bidirectional encoder representations from transformers)对待识别语句进行语病识别，但上述方法对于语义性病句，识别精度降低。


技术实现要素：

4.本发明提供一种语病识别方法、装置、电子设备和存储介质，用以解决现有技术中对语义性病句识别精度较低的缺陷。
5.本发明提供一种语病识别方法，包括：
6.确定待识别语句；
7.提取所述待识别语句中各分词的分词表示；
8.基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述分词表示用于表征对应分词的上下文语义和对应分词与所述待识别语句中其余分词间的句法依赖关系。
9.根据本发明提供的一种语病识别方法，所述提取所述待识别语句中各分词的分词表示，包括：
10.基于预训练语言模型，提取所述待识别语句中各分词的分词表示；
11.所述预训练语言模型是基于初始语言模型，应用第一样本语句以及所述第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到的。
12.根据本发明提供的一种语病识别方法，所述预训练语言模型是基于如下步骤训练得到的：
13.将所述第一样本语句输入至所述初始语言模型，得到所述初始语言模型输出的所述第一样本语句中各分词的预测分词表示；
14.将所述第一样本语句中各分词的预测分词表示输入至所述句法依赖关系分类模型，得到所述句法依赖关系分类模型输出的所述第一样本语句中各分词间的预测句法依赖关系；
15.基于所述第一样本语句中各分词间的预测句法依赖关系以及所述第一样本语句中各分词间的句法依赖关系标签，对所述初始语言模型和所述句法依赖关系分类模型进行联合训练，得到所述预训练语言模型。
16.根据本发明提供的一种语病识别方法，所述第一样本语句包括样本掩码语句和第
一原始样本语句，所述样本掩码语句是对第二原始样本语句进行分词掩码得到的；
17.所述基于所述第一样本语句中各分词间的预测句法依赖关系以及所述第一样本语句中各分词间的句法依赖关系标签，对所述初始语言模型和所述句法依赖关系分类模型进行联合训练，得到所述预训练语言模型，包括：
18.基于所述第一原始样本语句中各分词间的预测句法依赖关系以及所述第一原始样本语句中各分词间的句法依赖关系标签，和所述样本掩码语句对应的预测语句以及所述第二原始样本语句，对所述初始语言模型、所述句法依赖关系分类模型和句子预测模型进行联合训练，得到所述预训练语言模型；
19.所述句子预测模型用于对所述样本掩码语句进行预测，得到所述样本掩码语句对应的预测语句。
20.根据本发明提供的一种语病识别方法，所述基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别，包括：
21.基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，确定所述待识别语句的句法表示；
22.基于融合权重，对所述待识别语句中各分词的分词表示以及所述待识别语句的句法表示进行融合，得到融合句子表示；所述融合权重是基于所述待识别语句中各分词的分词表示确定的；
23.基于所述融合句子表示，对所述待识别语句进行语病识别。
24.根据本发明提供的一种语病识别方法，所述提取所述待识别语句中各分词的分词表示，基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别，包括：
25.基于语病识别模型，提取所述待识别语句中各分词的分词表示，基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；
26.所述语病识别模型是基于预训练语言模型，应用第二样本语句以及所述第二样本语句的语病标签训练得到的，所述预训练语言模型用于提取分词表示，所述预训练语言模型是基于初始语言模型，应用第一样本语句以及所述第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到。
27.根据本发明提供的一种语病识别方法，所述句法结构是基于如下步骤确定的：
28.对所述待识别句子进行句法分析，得到所述待识别句子中各分词之间的句法依赖关系；
29.基于各分词之间的句法依赖关系，构建表征所述待识别句子中每个分词与其它分词之间的句法依赖关系结构树，作为所述句法结构。
30.本发明还提供一种语病识别装置，包括：
31.确定单元，用于确定待识别语句；
32.提取单元，用于提取所述待识别语句中各分词的分词表示；
33.识别单元，用于基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述分词表示用于表征对应分词的上下文语义和对应分词与所述待识别语句中其余分词间的句法依赖关系。
不可能是“福州市人”，即该语句存在不合逻辑的语义问题，也就是该语句实际为语义性病句，但通过传统方法无法准确识别得到语病结果。
50.对此，本发明提供一种语病识别方法。图1是本发明提供的语病识别方法的流程示意图，如图1所示，该方法包括如下步骤：
51.步骤110、确定待识别语句。
52.此处，待识别语句即需要进行语病识别的语句，待识别语句可以是用户直接输入的，也可以是将采集所得的音频进行语音转写后得到的，还可以是通过扫描仪、手机、相机等图像采集设备采集得到图像，并对图像进行ocr文字识别得到的，本发明实施例对此不作具体限定。
53.步骤120、提取待识别语句中各分词的分词表示；分词表示用于表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系。
54.具体地，待识别语句包括多个分词，其中任一分词的上下文语义包含待识别语句中该分词在语义层面上的信息，任一分词与待识别语句中其余分词间的句法依赖关系包含该分词与其余分词在句法层面上的关系。各分词的分词表示用于表征上述两种信息，即各分词的分词表示结合有对应分词在语义层面上的信息以及句法层面上的关系。其中，各分词的分词表示可以是包含了对应分词的上下文信息和句法依赖关系的隐层向量，也可以是表示对应分词的上下文信息的特征向量和表示对应分词与其他分词间的句法依赖关系的特征向量的融合形式，本发明实施例对此不作具体限定。
55.可选地，可以设置“父亲-孩子关系”，“孩子-父亲关系”，“兄弟关系”和“无直接关系”四种句法依赖关系。例如，对于待识别语句“他的家乡是福建省福州市”，“他”与“家乡”是父亲-孩子关系，“是”与“市”是孩子-父亲关系，“家乡”与“市”是兄弟关系，“市”与“他”无直接关系。
56.此外，在提取待识别语句中各分词的分词表示时，可以将待识别语句输入至预训练语言模型，由预训练语言模型挖掘各分词的上下文语义信息，以及各分词与其余分词间的句法依赖关系，从而能够准确得到表征对应分词的上下文语义信息和对应分词与其余分词间的句法依赖关系的分词表示。其中，预训练语言模型可以是在已有的初始语言表示模型bert的基础上，应用样本语句以及样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到的。
57.步骤130、基于待识别语句中各分词的分词表示，以及待识别语句的句法结构，对待识别语句进行语病识别。
58.具体地，待识别语句的句法结构可以通过对待识别语句进行句法分析得到，句法分析具体可以通过分析待识别语句内各分词之间的依存关系揭示其句法结构。例如待识别语句“帮我开卧室风扇静音风”经句法分析可知，分词“帮”、“我”、“开”、“卧室”、“风扇”、“静音风”分别是动词v、代词r、动词v、名词n、名词n、名词n。其中，“帮”是文本中的核心关系hed，“我”是“帮”的兼语dbl，“帮”和“开”之间存在动宾关系vob，“开”和“静音风”之间存在动宾关系vob，“风扇”和“静音风”之间、“卧室”和“风扇”之间存在定中关系att。由此可见，待识别语句的句法结构可以从各分词的词性以及各分词之间的句法结构层面上表征待识别语句中各分词之间的句法依赖关系。
59.由于分词表示从语义层面和句法层面表征对应分词的上下文语义和对应分词与
待识别语句中其余分词间的句法依赖关系，以及句法结构从各分词的词性以及各分词之间的句法结构层面表征各分词之间的句法依赖关系，从而基于分词表示以及句法结构中各分词之间的句法依赖关系可以确定待识别语句中是否存在语序不当、成分残缺、搭配不当、结构混乱等句法结构问题，同时结合分词表示中的各分词的上下文语义可以确定待识别语句中是否存在表意不明、不合逻辑等语义问题，进而能够准确对待识别语句进行语病识别。
60.相较于传统方法中采用语言表示模型bert仅能对结构性病句进行识别，本发明实施例融合了各分词表示中的对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系，以及句法结构中的各分词之间的句法依赖关系，从而能够结合语义信息和句法信息对待识别语句中的句法结构问题和语义问题进行病句识别，进而准确得到病句识别结果。
61.本发明实施例提供的语病识别方法，通过结合各分词表示中的对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系，以及句法结构中的各分词之间的句法依赖关系，从而能够结合语义信息和句法信息对待识别语句中的句法结构问题和语义问题进行病句识别，进而准确得到病句识别结果。
62.基于上述实施例，步骤120包括：
63.基于预训练语言模型，提取待识别语句中各分词的分词表示；
64.预训练语言模型是基于初始语言模型，应用第一样本语句以及第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到的。
65.具体地，初始语言模型可以为bert模型，也可以是其它经过预训练后具备语义提取能力的模型，预训练模型指联合训练完成的初始语言模型。在得到预训练模型后，可以将待识别语句输入至预训练语言模型，得到待识别语句中各分词的分词表示。
66.其中，在应用第一样本语句以及第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型进行训练的过程中，初始语言模型既可以学习第一样本语句中各分词的上下文语义信息，也可以学习第一样本语句中各分词与其它分词之间的句法依赖关系，从而使得训练得到的预训练语言模型能够得到用于表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系的分词表示。
67.由此可见，本发明实施例基于初始语言模型，应用第一样本语句以及第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到预训练语言模型，从而可以基于预训练语言模型得到用于表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系的分词表示，进而在对待识别语句进行语病识别时，能够从语义层面和句法层面提供对应分词的上下文语义信息和对应分词与待识别语句中其余分词间的句法依赖关系信息，准确得到语病识别结果。
68.基于上述任一实施例，图2是本发明提供的预训练语言模型训练方法的流程示意图，如图2所示，预训练语言模型是基于如下步骤训练得到的：
69.步骤210、将第一样本语句输入至初始语言模型，得到初始语言模型输出的第一样本语句中各分词的预测分词表示；
70.步骤220、将第一样本语句中各分词的预测分词表示输入至句法依赖关系分类模型，得到句法依赖关系分类模型输出的第一样本语句中各分词间的预测句法依赖关系；
71.步骤230、基于第一样本语句中各分词间的预测句法依赖关系以及第一样本语句
中各分词间的句法依赖关系标签，对初始语言模型和句法依赖关系分类模型进行联合训练，得到预训练语言模型。
72.具体地，将第一样本语句输入至初始语言模型后，初始语言模型可以分别获取第一样本语句中各分词的表示向量，然后将任一分词与其它分词的表示向量进行拼接，得到用于表征第一样本语句中对应分词的上下文语义和对应分词与其余分词间的句法依赖关系的预测分词表示。
73.在得到预测分词表示后，将预测分词表示输入至句法依赖关系分类模型，由句法依赖关系分类模型预测第一样本语句中对应分词与其余分词之间的句法依赖关系，得到第一样本语句中各分词间的预测句法依赖关系。
74.然后，基于第一样本语句中各分词间的预测句法依赖关系以及第一样本语句中各分词间的句法依赖关系标签，对初始语言模型和句法依赖关系分类模型进行联合训练，在联合训练的过程中，初始语言模型既可以学习第一样本语句中各分词的上下文语义信息，也可以学习第一样本语句中各分词与其它分词之间的句法依赖关系，从而使得训练得到的预训练语言模型能够得到用于表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系的分词表示。
75.由此可见，本发明实施例基于第一样本语句中各分词间的预测句法依赖关系以及第一样本语句中各分词间的句法依赖关系标签，对初始语言模型和句法依赖关系分类模型进行联合训练得到预训练语言模型，从而可以基于预训练语言模型得到用于表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系的分词表示，进而在对待识别语句进行语病识别时，能够从语义层面和句法层面提供对应分词的上下文语义信息和对应分词与待识别语句中其余分词间的句法依赖关系信息，准确得到语病识别结果。
76.可以理解的是，第一样本语句中各分词间的句法依赖关系标签可以通过句法分析工具(例如ltp)进行依存句法分析得到，从而可以基于第一样本语句中各分词间的预测句法依赖关系以及第一样本语句中各分词间的句法依赖关系标签，对初始语言模型和句法依赖关系分类模型进行联合训练，得到预训练语言模型。
77.基于上述任一实施例，第一样本语句包括样本掩码语句和第一原始样本语句，样本掩码语句是对第二原始样本语句进行分词掩码得到的；其中，步骤230包括：
78.基于第一原始样本语句中各分词间的预测句法依赖关系以及第一原始样本语句中各分词间的句法依赖关系标签，和样本掩码语句对应的预测语句以及第二原始样本语句，对初始语言模型、句法依赖关系分类模型和句子预测模型进行联合训练，得到预训练语言模型；
79.句子预测模型用于对样本掩码语句进行预测，得到样本掩码语句对应的预测语句。
80.此处，第一原始样本语句和第二原始样本语句可以是从公开数据集中获取的原始语料，样本掩码语句是对第二原始样本语句进行分词掩码得到的。例如，可以对第二原始样本语句进行分词处理，然后选取15％的分词作为待掩码分词，对80％的待掩码分词进行掩码处理(mask)，将10％的待掩码分词替换为其它分词，其余10％的待掩码分词保持不变。
81.在得到样本掩码语句后，将样本掩码语句输入至初始语言模型，得到样本掩码语句的预测分词表示，并将样本掩码语句的预测分词表示输入至句子预测模型，由句子预测
模型对样本掩码语句进行还原，进一步学习各分词与其它分词之间的句法依赖关系，得到样本掩码语句对应的预测语句。同时，将第一原始样本语句输入至初始语言模型，得到初始语言模型输出的第一原始样本语句的预测分词表示，并将第一原始样本语句的预测分词表示输入至句法依赖关系分类模型，由句法依赖关系分类模型预测第一原始样本语句中对应分词与其余分词之间的句法依赖关系，得到第一原始样本语句中各分词间的预测句法依赖关系。
82.然后，基于第一原始样本语句中各分词间的预测句法依赖关系以及第一原始样本语句中各分词间的句法依赖关系标签，和样本掩码语句对应的预测语句以及第二原始样本语句，对初始语言模型、句法依赖关系分类模型和句子预测模型进行联合训练，得到预训练语言模型，从而可以基于预训练语言模型得到用于表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系的分词表示，进而在对待识别语句进行语病识别时，能够从语义层面和句法层面提供对应分词的上下文语义信息和对应分词与待识别语句中其余分词间的句法依赖关系信息，准确得到语病识别结果。
83.图3是本发明提供的预训练语言模型训练方法的流程示意图之二，如图3所示，预训练语言模型是在已有的初始语言模型bert基础上进行二次预训练，预训练任务包括srp(syntax relation prediction)和mlm(masked language model)，具体训练过程为：将第一原始样本语句输入至初始语言模型bert，得到第一原始样本语句的预测分词表示，并将第一原始样本语句的预测分词表示输入至句法依赖关系分类模型srp，由句法依赖关系分类模型srp预测第一原始样本语句中对应分词与其余分词之间的句法依赖关系，得到第一原始样本语句中各分词间的预测句法依赖关系。对第二原始样本语句进行分词掩码处理，得到样本掩码语句，将样本掩码语句输入至初始语言模型bert，得到样本掩码语句的预测分词表示，并将样本掩码语句的预测分词表示输入至句子预测模型mlm，由句子预测模型mlm对样本掩码语句进行还原，进一步学习各分词与其它分词之间的句法依赖关系，得到样本掩码语句对应的预测语句。然后，基于第一原始样本语句中各分词间的预测句法依赖关系以及第一原始样本语句中各分词间的句法依赖关系标签，和样本掩码语句对应的预测语句以及第二原始样本语句，对初始语言模型、句法依赖关系分类模型和句子预测模型进行联合训练，得到预训练语言模型。
84.基于上述任一实施例，图4是本发明提供的语病识别方法的步骤130的实施方式的流程示意图，如图4所示，步骤130包括：
85.步骤131、基于待识别语句中各分词的分词表示，以及待识别语句的句法结构，确定待识别语句的句法表示；
86.步骤132、基于融合权重，对待识别语句中各分词的分词表示以及待识别语句的句法表示进行融合，得到融合句子表示；融合权重是基于待识别语句中各分词的分词表示确定的；
87.步骤133、基于融合句子表示，对待识别语句进行语病识别。
88.具体地，由于分词表示从语义层面和句法层面表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系，以及句法结构从各分词的词性以及各分词之间的句法结构层面表征各分词之间的句法依赖关系，从而基于此两者得到的待识别语句的句法表示融合有待识别语句的语义层面信息和句法层面信息。
89.由此可见，待识别语句中各分词的分词表示和待识别语句的句法表示均能够从语义层面和句法层面表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系。此外，待识别语句中各分词的分词表示可以表征待识别语句中每个分词在语义和句法层面上的重要程度，进而在语病识别的过程中，可以基于待识别语句中各分词的分词表示确定融合权重，然后基于融合权重，对待识别语句中各分词的分词表示以及待识别语句的句法表示进行融合，得到融合句子表示，从而基于融合句子表示中各分词之间的句法依赖关系信息可以确定待识别语句中是否存在语序不当、成分残缺、搭配不当、结构混乱等句法结构问题，同时结合融合句子表示中的各分词的上下文语义信息可以确定待识别语句中是否存在表意不明、不合逻辑等语义问题，进而能够准确对待识别语句进行语病识别。
90.基于上述任一实施例，提取待识别语句中各分词的分词表示，基于待识别语句中各分词的分词表示，以及待识别语句的句法结构，对待识别语句进行语病识别，包括：
91.基于语病识别模型，提取待识别语句中各分词的分词表示，基于待识别语句中各分词的分词表示，以及待识别语句的句法结构，对待识别语句进行语病识别；
92.语病识别模型是基于预训练语言模型，应用第二样本语句以及第二样本语句的语病标签训练得到的，预训练语言模型用于提取分词表示，预训练语言模型是基于初始语言模型，应用第一样本语句以及第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到。
93.具体地，语病识别模型可以基于预训练语言模型以及句法信息模型联合训练得到，预训练语言模型用于提取待识别语句中各分词的分词表示，句法信息模型用于基于待识别语句中各分词的分词表示，以及待识别语句的句法结构，对待识别语句进行语病识别，得到语病识别结果。其中，预训练语言模型可以采用如上实施例所述的基于初始语言模型，应用第一样本语句以及第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到。句法信息模型可以为tree-lstm模型，tree-lstm模型可以包括syntaxtree-lstm模型、child-sum tree-lstms模型、n-ary tree lstm模型等。
94.图5是本发明提供的语病识别模型训练方法的流程示意图，如图5所示，将第二样本语句输入至预训练语言模型的embedding层，提取得到第二样本语句的各分词向量，然后将各分词向量输入至预训练语言模型的transformer层，得到第二样本语句中各分词的预测分词表示，然后由预训练语言模型的pooling layer层对第二样本语句中各分词的预测分词表示进行取平均得到第二样本语句的句子表示x。同时，将第二样本语句中各分词的预测分词表示以及第二样本语句的句法结构输入至句法信息模型syntaxtree-lstm，得到第二样本语句的句法表示h，然后由highway gate层基于融合权重对第二样本语句的句子表示x和第二样本语句的句法表示h进行融合，得到第二样本语句的融合句子表示v，接着classification层基于第二样本语句的融合句子表示v确定第二样本语句的预测语病识别结果，并基于第二样本语句的预测语病识别结果和第二样本语句的语病标签进行迭代训练。其中，融合权重是基于第二样本语句的句子表示x确定的。
95.由此可见，本发明实施例基于初始语言模型，应用第一样本语句以及第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到预训练语言模型，从而可以基于预训练语言模型得到用于表征对应分词的上下文语义和对应分词与待识
别语句中其余分词间的句法依赖关系的分词表示，进而使得基于预训练语言模型，应用第二样本语句以及所述第二样本语句的语病标签训练得到的语病识别模型能够从语义层面和句法层面提供对应分词的上下文语义信息和对应分词与待识别语句中其余分词间的句法依赖关系信息，准确得到语病识别结果。
96.基于上述任一实施例，图6是本发明提供的句法结构确定方法的流程示意图，如图6所示，句法结构是基于如下步骤确定的：
97.步骤610、对待识别句子进行句法分析，得到待识别句子中各分词之间的句法依赖关系；
98.步骤620、基于各分词之间的句法依赖关系，构建表征待识别句子中每个分词与其它分词之间的句法依赖关系结构树，作为句法结构。
99.具体地，通过句法分析得到的每个分词之间的句法依赖关系，然后各分词之间的句法依赖关系，构建表征待识别句子中每个分词与其它分词之间的句法依赖关系结构树，作为句法结构。具体可以基于每个分词之间的句法依赖关系，确定其中一个分词与其余各个分词之间是否存在句法依赖关系，进而生成表征该分词中的每个字与其余各个分词中的每个字之间句法依赖关系的结构树，即可得到结构树形式的句法结构。
100.基于上述任一实施例，本发明还提供一种语病识别方法，该方法包括：
101.对待识别语句进行句法分析，得到待识别语句的句法结构，然后将待识别语句输入至语病识别模型的预训练语言模型，得到预训练语言模型输出的待识别语句中各分词的分词表示，并对待识别语句中各分词的分词表示取平均得到待识别语句的句子表示。其中，预训练语言模型是在已有的初始语言模型bert基础上进行二次预训练后得到的，预训练任务包括srp和mlm。
102.同时，将待识别语句中各分词的分词表示和待识别语句的句法结构输入至句法信息模型tree-lstm，得到包含有句法信息的待识别语句的句法表示。
103.然后，基于融合权重对待识别语句的句子表示和待识别语句的句法表示进行融合，得到融合句子表示，并基于融合句子表示对待识别语句进行语病识别，得到语病识别结果。
104.其中，语病识别模型是应用第二样本语句以及所述第二样本语句的语病标签，对预训练语言模型和句法信息模型tree-lstm联合训练得到的。预训练语言模型用于提取分词表示。
105.下面对本发明提供的语病识别装置进行描述，下文描述的语病识别装置与上文描述的语病识别方法可相互对应参照。
106.基于上述任一实施例，本发明提供一种语病识别装置，图7是本发明提供的语病识别装置的结构示意图，如图7所示，该装置包括：
107.确定单元710，用于确定待识别语句；
108.提取单元720，用于提取所述待识别语句中各分词的分词表示；
109.识别单元730，用于基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述分词表示用于表征对应分词的上下文语义和对应分词与所述待识别语句中其余分词间的句法依赖关系。
110.基于上述任一实施例，所述提取单元720，用于：
111.基于预训练语言模型，提取所述待识别语句中各分词的分词表示；
112.所述预训练语言模型是基于初始语言模型，应用第一样本语句以及所述第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到的。
113.基于上述任一实施例，所述装置还包括：
114.分词表示单元，用于将所述第一样本语句输入至所述初始语言模型，得到所述初始语言模型输出的所述第一样本语句中各分词的预测分词表示；
115.关系确定单元，用于将所述第一样本语句中各分词的预测分词表示输入至所述句法依赖关系分类模型，得到所述句法依赖关系分类模型输出的所述第一样本语句中各分词间的预测句法依赖关系；
116.模型训练单元，用于基于所述第一样本语句中各分词间的预测句法依赖关系以及所述第一样本语句中各分词间的句法依赖关系标签，对所述初始语言模型和所述句法依赖关系分类模型进行联合训练，得到所述预训练语言模型。
117.基于上述任一实施例，所述第一样本语句包括样本掩码语句和第一原始样本语句，所述样本掩码语句是对第二原始样本语句进行分词掩码得到的；
118.所述模型训练单元，用于：
119.基于所述第一原始样本语句中各分词间的预测句法依赖关系以及所述第一原始样本语句中各分词间的句法依赖关系标签，和所述样本掩码语句对应的预测语句以及所述第二原始样本语句，对所述初始语言模型、所述句法依赖关系分类模型和句子预测模型进行联合训练，得到所述预训练语言模型；
120.所述句子预测模型用于对所述样本掩码语句进行预测，得到所述样本掩码语句对应的预测语句。
121.基于上述任一实施例，所述识别单元730，包括：
122.句法表示单元，用于基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，确定所述待识别语句的句法表示；
123.融合单元，用于基于融合权重，对所述待识别语句中各分词的分词表示以及所述待识别语句的句法表示进行融合，得到融合句子表示；所述融合权重是基于所述待识别语句中各分词的分词表示确定的；
124.语病识别单元，用于基于所述融合句子表示，对所述待识别语句进行语病识别。
125.基于上述任一实施例，所述提取单元720和所述识别单元730用于：
126.基于语病识别模型，提取所述待识别语句中各分词的分词表示，基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；
127.所述语病识别模型是基于预训练语言模型，应用第二样本语句以及所述第二样本语句的语病标签训练得到的，所述预训练语言模型用于提取分词表示，所述预训练语言模型是基于初始语言模型，应用第一样本语句以及所述第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到。
128.基于上述任一实施例，所述装置还包括：
129.句法分析单元，用于对所述待识别句子进行句法分析，得到所述待识别句子中各分词之间的句法依赖关系；
130.构建单元，用于基于各分词之间的句法依赖关系，构建表征所述待识别句子中每个分词与其它分词之间的句法依赖关系结构树，作为所述句法结构。
131.图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、存储器(memory)820、通信接口(communications interface)830和通信总线840，其中，处理器810，存储器820，通信接口830通过通信总线840完成相互间的通信。处理器810可以调用存储器820中的逻辑指令，以执行语病识别方法，该方法包括：确定待识别语句；提取所述待识别语句中各分词的分词表示；基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述分词表示用于表征对应分词的上下文语义和对应分词与所述待识别语句中其余分词间的句法依赖关系。
132.此外，上述的存储器820中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
133.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的语病识别方法，该方法包括：确定待识别语句；提取所述待识别语句中各分词的分词表示；基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述分词表示用于表征对应分词的上下文语义和对应分词与所述待识别语句中其余分词间的句法依赖关系。
134.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的语病识别方法，该方法包括：确定待识别语句；提取所述待识别语句中各分词的分词表示；基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述分词表示用于表征对应分词的上下文语义和对应分词与所述待识别语句中其余分词间的句法依赖关系。
135.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
136.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
137.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种语病识别方法，其特征在于，包括：确定待识别语句；提取所述待识别语句中各分词的分词表示；基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述分词表示用于表征对应分词的上下文语义和对应分词与所述待识别语句中其余分词间的句法依赖关系。2.根据权利要求1所述的语病识别方法，其特征在于，所述提取所述待识别语句中各分词的分词表示，包括：基于预训练语言模型，提取所述待识别语句中各分词的分词表示；所述预训练语言模型是基于初始语言模型，应用第一样本语句以及所述第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到的。3.根据权利要求2所述的语病识别方法，其特征在于，所述预训练语言模型是基于如下步骤训练得到的：将所述第一样本语句输入至所述初始语言模型，得到所述初始语言模型输出的所述第一样本语句中各分词的预测分词表示；将所述第一样本语句中各分词的预测分词表示输入至所述句法依赖关系分类模型，得到所述句法依赖关系分类模型输出的所述第一样本语句中各分词间的预测句法依赖关系；基于所述第一样本语句中各分词间的预测句法依赖关系以及所述第一样本语句中各分词间的句法依赖关系标签，对所述初始语言模型和所述句法依赖关系分类模型进行联合训练，得到所述预训练语言模型。4.根据权利要求3所述的语病识别方法，其特征在于，所述第一样本语句包括样本掩码语句和第一原始样本语句，所述样本掩码语句是对第二原始样本语句进行分词掩码得到的；所述基于所述第一样本语句中各分词间的预测句法依赖关系以及所述第一样本语句中各分词间的句法依赖关系标签，对所述初始语言模型和所述句法依赖关系分类模型进行联合训练，得到所述预训练语言模型，包括：基于所述第一原始样本语句中各分词间的预测句法依赖关系以及所述第一原始样本语句中各分词间的句法依赖关系标签，和所述样本掩码语句对应的预测语句以及所述第二原始样本语句，对所述初始语言模型、所述句法依赖关系分类模型和句子预测模型进行联合训练，得到所述预训练语言模型；所述句子预测模型用于对所述样本掩码语句进行预测，得到所述样本掩码语句对应的预测语句。5.根据权利要求1所述的语病识别方法，其特征在于，所述基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别，包括：基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，确定所述待识别语句的句法表示；基于融合权重，对所述待识别语句中各分词的分词表示以及所述待识别语句的句法表示进行融合，得到融合句子表示；所述融合权重是基于所述待识别语句中各分词的分词表示确定的；
基于所述融合句子表示，对所述待识别语句进行语病识别。6.根据权利要求1所述的语病识别方法，其特征在于，所述提取所述待识别语句中各分词的分词表示，基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别，包括：基于语病识别模型，提取所述待识别语句中各分词的分词表示，基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述语病识别模型是基于预训练语言模型，应用第二样本语句以及所述第二样本语句的语病标签训练得到的，所述预训练语言模型用于提取分词表示，所述预训练语言模型是基于初始语言模型，应用第一样本语句以及所述第一样本语句中各分词间的句法依赖关系标签，联合句法依赖关系分类模型训练得到。7.根据权利要求1至6中任一项所述的语病识别方法，其特征在于，所述句法结构是基于如下步骤确定的：对所述待识别句子进行句法分析，得到所述待识别句子中各分词之间的句法依赖关系；基于各分词之间的句法依赖关系，构建表征所述待识别句子中每个分词与其它分词之间的句法依赖关系结构树，作为所述句法结构。8.一种语病识别装置，其特征在于，包括：确定单元，用于确定待识别语句；提取单元，用于提取所述待识别语句中各分词的分词表示；识别单元，用于基于所述待识别语句中各分词的分词表示，以及所述待识别语句的句法结构，对所述待识别语句进行语病识别；所述分词表示用于表征对应分词的上下文语义和对应分词与所述待识别语句中其余分词间的句法依赖关系。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述语病识别方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述语病识别方法的步骤。

技术总结
本发明提供一种语病识别方法、装置、电子设备和存储介质，所述方法包括：确定待识别语句；提取待识别语句中各分词的分词表示；基于待识别语句中各分词的分词表示，以及待识别语句的句法结构，对待识别语句进行语病识别；分词表示用于表征对应分词的上下文语义和对应分词与待识别语句中其余分词间的句法依赖关系。本发明提供的语病识别方法、装置、电子设备和存储介质，能够结合语义信息和句法信息对待识别语句中的句法结构问题和语义问题进行病句识别，进而准确得到病句识别结果。进而准确得到病句识别结果。进而准确得到病句识别结果。


技术研发人员：王宝鑫 孙博 车万翔 伍大勇 陈志刚 刘挺
受保护的技术使用者：河北省讯飞人工智能研究院 科大讯飞股份有限公司 中科讯飞互联（北京）信息科技有限公司
技术研发日：2021.12.03
技术公布日：2022/3/8