基于深度学习的引导式连续手写汉字识别系统及其实现方法与流程

1.本发明涉及模式识别技术领域，具体为基于深度学习的引导式连续手写汉字识别系统及其实现方法。


背景技术：

2.随着计算机性能的不断提高，人机交互成为了新时代互联网技术一重大挑战，人机交互正朝着高效化、智能化及标准化的目标前进，目前已出现手写输入、语音输入、图像识别输入等诸多智能化交互技术，其中手写输入无需学习输入法规则，无需选择候选字，有着学习成本低、录入速度快的特点。
3.市场上原生手写识别的软件多为单字输入识别，需等待上一个字识别完成才能开始进行下一个字的书写，造成了用户输入时间长，书写不连贯的缺点，近些年，连续手写输入的需求呈增长趋势，而供应方面却略显不足，尤其是拥有核心知识产权，技术过硬的企业并不多，行业整体缺乏品牌效应。
4.虽然市场上已经出现了连续书写识别的软件，但是该类软件识别率不高，识别速度缓慢，仍然无法满足连贯输入的需求，该类输入软件输入框大小无法调整，未能指导用户合理安排书写的位置，导致书写的汉字大小不一、在边框处扭曲变形，书写体验大幅下降的同时识别率也有所降低。
5.另外，对于是在银行需要客户对相关条款签字确认的特定场景下，具有签字字数多、反应速度快及笔迹需留档的特点，这类需求往往需要手写识别厂商进行个性化的定制，这就导致了定制成本高、开发周期长等缺点。
6.因此，需研发一款具有高性能、高识别率、书写连贯的手写识别软件，同时对银行这类特定场景下的需求进行优化和改进，满足多种应用场景下的输入和识别要求。


技术实现要素：

7.针对现有技术中存在的问题，本发明的目的在于提供基于深度学习的引导式连续手写汉字识别系统及其实现方法，具备引导用户快速连贯的书写，同时对书写的汉字进行识别的优点，解决了现有技术中连续书写时识别率低、输入速度慢的问题。
8.为实现上述目的，本发明提供如下技术方案：基于深度学习的引导式连续手写汉字识别系统及其实现方法，包括多输入框管理器、手写输入框和手写汉字分类器，所述多输入框管理器与手写输入框电性连接，所述手写输入框与手写汉字分类器电性连接，所述手写输入框用于向多输入框管理器反馈输入内容及识别结果，所述多输入框管理器用于管理单个手写输入框，所述手写汉字分类器用于向手写输入框返回笔迹识别结果，所述手写输入框用于向手写汉字分类器请求识别用户手写笔迹；
9.所述多输入框管理器包括输入框布局模块、输入结果反馈调度模块和开发包接口管理模块；
10.所述手写输入框包括手写笔迹渲染模块、历史笔迹管理模块和边框渲染模块；
11.所述手写汉字分类器包括预处理及后处理和汉字识别推理模型。
12.优选的，所述触笔范围包括引导框a和引导框b，即触笔在引导框a的范围内或触笔在引导框b的范围内。
13.优选的，所述用户动作逻辑为用户开始输入汉字a、用户正在输入汉字a、用于结束汉字a输入、用户开始输入汉字b、用户正在输入汉字b和开始识别汉字a。
14.优选的，所述识别系统可由于引导框概念的引入，可以让系统感知单个字书写完成的时间点，从而在书写一下个字的时候，对上一个字进行识别。
15.优选的，所述识别系统基于quantized efficientnet分类模型，搭建出手写汉字分类网络，所述识别系统采集常用汉字不同风格的手写图片作为样本库，并对每个汉字进行标号。
16.优选的，所述识别系统对要连续书写的汉字，通过生成对应的引导框引导用户进行书写。
17.优选的，所述识别系统通过采集触笔的位置，在屏幕对应的位置上绘制出对应的笔画，同时在用户书写的过程中，系统还会根据触笔压力大小的反馈，使书写出来的字体呈现出不同的起笔和笔锋。
18.优选的，所述引导框不完全限定用户的书写范围，即使用户将部分笔画书写到引导框外，系统仍然能正确的识别。
19.优选的，所述识别系统将该汉字生成为图片后，送入手写汉字分类器中进行分类，手写汉字分类器对输入的图片进行预处理，具体为对输入的汉字图片通过最近邻插值调整像素大小与样本集中图片大小一致，在第一次识别前，加载汉字分类网络及其参数，将标准化后的图片数据送入汉字分类网络当中进行分类，分类器完成分类后会获得一个关于分类结果的向量，如下式所示，该向量代表着输入的汉字图片在常用汉字中的概率分布：求取该向量中概率最大的值，提取该值的索引，从汉字索引表中找出该索引对应的汉字，即为识别结果。
20.其使用方法包括以下步骤：
21.a、首先由用户输入指定的短语，然后依次配置引导框大小、引导框样式及画笔样式，点击生成输入框按钮，多输入框管理器根据配置项生成与短语对应数量的引导框；
22.b、系统将该手写的汉字图片送入手写汉字分类器中进行识别，具体步骤为，将图片通过最近邻插值调整为统一大小，然后将经过调整后的图像送入前文中训练好的深度网络进行识别；
23.c、如下式所示深度网络会返回代表每个汉字的概率向量，
[0024][0025]
(0.002，0.009，
……
，0.977，
……
，0.011，0.007)
[0026]
观察该向量可以发现，在第3043维度上的值为该向量的最大值。则可以得出汉字列表中第3043个汉字即为识别结果；
[0027]
d、系统将识别结果反馈回该输入框，若识别的结果与短语中对应的汉字相同，则认为书写正确，引导框变为绿色作为提示，反之引导框变为红色提示书写错误，特别的，将用户正在输入的引导框变为黄色作为正在输入的提示；
[0028]
e、当用户全部输入完成后，多输入框管理器收集全部识别结果，若均输入正确，则
完成本次签约，若有输入错误，则提示用户修改，或放弃本次签约；
[0029]
f、签约完成后，用户可以点击保存按钮，将签字内容以图片的形式保存下来，保存的形式可选定为带引导框保存和不带引导框保存，保存后的图片可以作为电子签约的历史凭证；
[0030]
g、为满足用户手写签字的并保存的需求，该系统专门为签字这类场景设计了专门的模块；
[0031]
h、签字框下方有引导基准线，可引导用户签字时根据基准线进行签字，当用户签字完成时，可对签字内容进行保存，特别的，保存时系统会自动将签字外空白区域舍弃，仅保留签字部分，这样，有利于后续对签字的审查和留档工作的进行。
[0032]
与现有技术相比，本发明的有益效果如下：
[0033]
1、本发明通过引导用户书写位置，使得用户书写的汉字根据规整，方便用户的同时提高了识别率，引导框不完全限定用户书写范围，有效避免部分笔锋被截断的问题，提高书写流畅性，由于经过引导书写后的汉字规整有序，省略了汉字切割的步骤，不会因为错误的切割而造成识别错误，本发明可由于引导框概念的引入，可以让系统感知单个字书写完成的时间点，从而在书写一下个字的时候，对上一个字进行识别，实现了引导用户快速连贯的书写，同时对书写的汉字进行识别的目的，解决了现有技术中连续书写时识别率低、输入速度慢的问题。
附图说明
[0034]
图1为本发明原理示意图；
[0035]
图2为本发明程序执行流程示意图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0038]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0039]
请参阅图1-2，基于深度学习的引导式连续手写汉字识别系统及其实现方法，包括多输入框管理器、手写输入框和手写汉字分类器，多输入框管理器与手写输入框电性连接，
手写输入框与手写汉字分类器电性连接，手写输入框用于向多输入框管理器反馈输入内容及识别结果，多输入框管理器用于管理单个手写输入框，手写汉字分类器用于向手写输入框返回笔迹识别结果，手写输入框用于向手写汉字分类器请求识别用户手写笔迹；
[0040]
多输入框管理器包括输入框布局模块、输入结果反馈调度模块和开发包接口管理模块；
[0041]
手写输入框包括手写笔迹渲染模块、历史笔迹管理模块和边框渲染模块；
[0042]
手写汉字分类器包括预处理及后处理和汉字识别推理模型。
[0043]
具体的，触笔范围包括引导框a和引导框b，即触笔在引导框a的范围内或触笔在引导框b的范围内，多输入框管理器，用于管理手写输入框的布局及对信号的调度，手写输入框，用于笔迹及引导框的渲染及对历史笔迹的管理，手写汉字分类器，用于对汉字图片进行预处理、后处理及推理识别，为了让用户能超出引导框书写，引导框应小于可书写范围，同时，系统排布引导框时，不应根据书写范围外边框进行排布，而应根据引导框进行排布，这样不会造成大面积的空白区域，当检测到画笔开始在其他引导框的范围内输入时，系统则判定上个引导框内的汉字完成输入，进入识别程序，此时，识别和输入同步进行，减少了用户等待时间，做到了连续输入与识别。
[0044]
具体的，用户动作逻辑为用户开始输入汉字a、用户正在输入汉字a、用于结束汉字a输入、用户开始输入汉字b、用户正在输入汉字b和开始识别汉字a。
[0045]
具体的，识别系统可由于引导框概念的引入，可以让系统感知单个字书写完成的时间点，从而在书写一下个字的时候，对上一个字进行识别。
[0046]
具体的，识别系统基于quantized efficientnet分类模型，搭建出手写汉字分类网络，识别系统采集常用汉字不同风格的手写图片作为样本库，并对每个汉字进行标号。
[0047]
具体的，识别系统对要连续书写的汉字，通过生成对应的引导框引导用户进行书写。
[0048]
具体的，识别系统通过采集触笔的位置，在屏幕对应的位置上绘制出对应的笔画，同时在用户书写的过程中，系统还会根据触笔压力大小的反馈，使书写出来的字体呈现出不同的起笔和笔锋。
[0049]
具体的，引导框不完全限定用户的书写范围，即使用户将部分笔画书写到引导框外，系统仍然能正确的识别。
[0050]
具体的，识别系统将该汉字生成为图片后，送入手写汉字分类器中进行分类，手写汉字分类器对输入的图片进行预处理，具体为对输入的汉字图片通过最近邻插值调整像素大小与样本集中图片大小一致，在第一次识别前，加载汉字分类网络及其参数，将标准化后的图片数据送入汉字分类网络当中进行分类，分类器完成分类后会获得一个关于分类结果的向量，如下式所示，该向量代表着输入的汉字图片在常用汉字中的概率分布：求取该向量中概率最大的值，提取该值的索引，从汉字索引表中找出该索引对应的汉字，即为识别结果。
[0051]
其使用方法包括以下步骤：
[0052]
a、首先由用户输入指定的短语，然后依次配置引导框大小、引导框样式及画笔样式，点击生成输入框按钮，多输入框管理器根据配置项生成与短语对应数量的引导框；
[0053]
b、系统将该手写的汉字图片送入手写汉字分类器中进行识别，具体步骤为，将图
片通过最近邻插值调整为统一大小，然后将经过调整后的图像送入前文中训练好的深度网络进行识别；
[0054]
c、如下式所示深度网络会返回代表每个汉字的概率向量，
[0055][0056]
(0.002，0.009，
……
，0.977，
……
，0.011，0.007)
[0057]
观察该向量可以发现，在第3043维度上的值为该向量的最大值。则可以得出汉字列表中第3043个汉字即为识别结果；
[0058]
d、系统将识别结果反馈回该输入框，若识别的结果与短语中对应的汉字相同，则认为书写正确，引导框变为绿色作为提示，反之引导框变为红色提示书写错误，特别的，将用户正在输入的引导框变为黄色作为正在输入的提示；
[0059]
e、当用户全部输入完成后，多输入框管理器收集全部识别结果，若均输入正确，则完成本次签约，若有输入错误，则提示用户修改，或放弃本次签约；
[0060]
f、签约完成后，用户可以点击保存按钮，将签字内容以图片的形式保存下来，保存的形式可选定为带引导框保存和不带引导框保存，保存后的图片可以作为电子签约的历史凭证；
[0061]
g、为满足用户手写签字的并保存的需求，该系统专门为签字这类场景设计了专门的模块；
[0062]
h、签字框下方有引导基准线，可引导用户签字时根据基准线进行签字，当用户签字完成时，可对签字内容进行保存，特别的，保存时系统会自动将签字外空白区域舍弃，仅保留签字部分，这样，有利于后续对签字的审查和留档工作的进行。
[0063]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0064]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.基于深度学习的引导式连续手写汉字识别系统，包括多输入框管理器、手写输入框和手写汉字分类器，其特征在于：所述多输入框管理器与手写输入框电性连接，所述手写输入框与手写汉字分类器电性连接，所述手写输入框用于向多输入框管理器反馈输入内容及识别结果，所述多输入框管理器用于管理单个手写输入框，所述手写汉字分类器用于向手写输入框返回笔迹识别结果，所述手写输入框用于向手写汉字分类器请求识别用户手写笔迹；所述多输入框管理器包括输入框布局模块、输入结果反馈调度模块和开发包接口管理模块；所述手写输入框包括手写笔迹渲染模块、历史笔迹管理模块和边框渲染模块；所述手写汉字分类器包括预处理及后处理和汉字识别推理模型。2.根据权利要求1所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于：所述触笔范围包括引导框a和引导框b，即触笔在引导框a的范围内或触笔在引导框b的范围内。3.根据权利要求1所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于：所述用户动作逻辑为用户开始输入汉字a、用户正在输入汉字a、用于结束汉字a输入、用户开始输入汉字b、用户正在输入汉字b和开始识别汉字a。4.根据权利要求1所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于：所述识别系统可由于引导框概念的引入，可以让系统感知单个字书写完成的时间点，从而在书写一下个字的时候，对上一个字进行识别。5.根据权利要求1所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于：所述识别系统基于quantized efficientnet分类模型，搭建出手写汉字分类网络，所述识别系统采集常用汉字不同风格的手写图片作为样本库，并对每个汉字进行标号。6.根据权利要求1所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于：所述识别系统对要连续书写的汉字，通过生成对应的引导框引导用户进行书写。7.根据权利要求1所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于：所述识别系统通过采集触笔的位置，在屏幕对应的位置上绘制出对应的笔画，同时在用户书写的过程中，系统还会根据触笔压力大小的反馈，使书写出来的字体呈现出不同的起笔和笔锋。8.根据权利要求2所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于：所述引导框不完全限定用户的书写范围，即使用户将部分笔画书写到引导框外，系统仍然能正确的识别。9.根据权利要求1所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于：所述识别系统将该汉字生成为图片后，送入手写汉字分类器中进行分类，手写汉字分类器对输入的图片进行预处理，具体为对输入的汉字图片通过最近邻插值调整像素大小与样本集中图片大小一致，在第一次识别前，加载汉字分类网络及其参数，将标准化后的图片数据送入汉字分类网络当中进行分类，分类器完成分类后会获得一个关于分类结果的向量，如下式所示，该向量代表着输入的汉字图片在常用汉字中的概率分布：求取该向量中概率最大的值，提取该值的索引，从汉字索引表中找出该索引对应的汉字，即
为识别结果。10.根据权利要求1-9任意一项所述的基于深度学习的引导式连续手写汉字识别系统，其特征在于，其使用方法包括以下步骤：a、首先由用户输入指定的短语，然后依次配置引导框大小、引导框样式及画笔样式，点击生成输入框按钮，多输入框管理器根据配置项生成与短语对应数量的引导框；b、系统将该手写的汉字图片送入手写汉字分类器中进行识别，具体步骤为，将图片通过最近邻插值调整为统一大小，然后将经过调整后的图像送入前文中训练好的深度网络进行识别；c、如下式所示深度网络会返回代表每个汉字的概率向量，(0.002,0.009,
……
,0.977,
……
,0.011,0.007)观察该向量可以发现，在第3043维度上的值为该向量的最大值。则可以得出汉字列表中第3043个汉字即为识别结果；d、系统将识别结果反馈回该输入框，若识别的结果与短语中对应的汉字相同，则认为书写正确，引导框变为绿色作为提示，反之引导框变为红色提示书写错误，特别的，将用户正在输入的引导框变为黄色作为正在输入的提示；e、当用户全部输入完成后，多输入框管理器收集全部识别结果，若均输入正确，则完成本次签约，若有输入错误，则提示用户修改，或放弃本次签约；f、签约完成后，用户可以点击保存按钮，将签字内容以图片的形式保存下来，保存的形式可选定为带引导框保存和不带引导框保存，保存后的图片可以作为电子签约的历史凭证；g、为满足用户手写签字的并保存的需求，该系统专门为签字这类场景设计了专门的模块；h、签字框下方有引导基准线，可引导用户签字时根据基准线进行签字，当用户签字完成时，可对签字内容进行保存，特别的，保存时系统会自动将签字外空白区域舍弃，仅保留签字部分，这样，有利于后续对签字的审查和留档工作的进行。

技术总结
本发明公开了基于深度学习的引导式连续手写汉字识别系统及其实现方法，包括多输入框管理器、手写输入框和手写汉字分类器，所述多输入框管理器与手写输入框电性连接，所述手写输入框与手写汉字分类器电性连接。本发明通过引导用户书写位置，使得用户书写的汉字根据规整，方便用户的同时提高了识别率，引导框不完全限定用户书写范围，有效避免部分笔锋被截断的问题，提高书写流畅性，由于经过引导书写后的汉字规整有序，省略了汉字切割的步骤，不会因为错误的切割而造成识别错误，本发明可由于引导框概念的引入，可以让系统感知单个字书写完成的时间点，从而在书写一下个字的时候，对上一个字进行识别。上一个字进行识别。上一个字进行识别。


技术研发人员：刘志忠 余敏 钟瑞超 陈亚俊
受保护的技术使用者：广州市双照电子科技有限公司
技术研发日：2021.06.23
技术公布日：2022/3/8