利用Logo标志图文信息的相似度Logo发现方法与流程

利用logo标志图文信息的相似度logo发现方法
技术领域
1.本发明属于计算机技术领域，特别涉及利用logo标志图文信息的相似度logo发现方法。


背景技术：

2.logo是徽标或者商标的外语缩写，起到对商标持有公司的识别和推广的作用，形象的商标可以让消费者记住公司主体和品牌文化，由此可见商标应该具备两大功能，即区别功能与审美功能。商标侵权是指未经商标权人许可，在相同或类似商品上使用与其注册商标相同或近似的商标等行为。认定商标侵权行为是司法审判中面临的问题,其中商标相似性判断尤为突出。近年来，人工智能在计算机视觉、自然语言处理等领域迅猛发展，研究者运用自然语言处理、图像处理等技术,对logo图像及其上下文进行细粒度的特征提取，可以提高logo相似性判断的客观性和一致性，解决当前司法实践中的困境。
3.目前，对于logo相似性主要采用人工方式进行判断，由此导致主观性比较强以及判断标准不一的问题。在图像相似度度量领域，现有的算法可分为哈希算法等传统方法和孪生网络等深度学习类算法。基于孪生网络的算法的短板在于其是有监督算法，需要大量标注数据，而在现实场景中缺乏大量的类似logo及标签。于是，需要一种标准统一的、高效的自动识别相似logo的方法。


技术实现要素：

4.针对背景技术存在的问题，本发明提供一种利用logo标志图像和图像上下文细粒度片段进行相似logo发现的方法。
5.为解决上述技术问题，本发明采用如下技术方案：利用logo标志图文信息的相似度logo发现方法，包括以下步骤：
6.步骤1、输入多种格式的logo图像，对不同尺寸、像素的logo进行预处理；
7.步骤2、构建基于深度神经网络的目标检测模型，检测输入图像中的logo图像部分；经过多次实验选定最佳窗口大小，以窗口为单位捕获logo周边图像内容；
8.步骤3、搭建attention-ocr神经网络模型，识别logo图像周边的文本；
9.步骤4、构建卷积神经网络、预训练语言模型，对以上步骤所提取logo图像周边的文本、图像进行多粒度向量化表征；
10.步骤5、将logo的图形特征向量和文本特征向量进行拼接，形成logo特征；
11.步骤6、对于输入的多个logo图像，依据上述步骤进行特征捕获，运用双塔模型进行不同图像之间的相似度匹配计算，确定不同logo图像之间的匹配程度。
12.在上述利用logo标志图文信息的相似度logo发现方法中，步骤1所述logo图像是指任何对其持有公司具有识别、推广作用的图像，包括且不限于png、bmp、jpg格式图像；所述预处理过程包括：图像平移和大小缩放、图像角度倾斜矫正、图像增强。
13.在上述利用logo标志图文信息的相似度logo发现方法中，步骤2的实现包括采用
目标检测算法fast r-cnn，提取步骤1输入图像中的logo图像中的图形特征信息g
logo
，具体过程包括：
14.步骤2.1、基于预处理的logo图像，识别对logo区域进行精准标注，构建logo识别数据集，并采取仿射变换、图像合成扩充数据集；
15.步骤2.2、通过迁移学习加快fast r-cnn模型训练效果，采用dropout机制防止过拟合，从而提取图形特征信息g
logo
；
16.步骤2.3、通过多尺度滑动窗口法，以窗口为单位捕获logo周边图像内容g
nearby
。
17.在上述利用logo标志图文信息的相似度logo发现方法中，步骤3的实现包括搭建attention-ocr架构的中英文通用str模型，经有监督训练检测出图像中的文本t
nearby
，具体过程包括：
18.步骤3.1、应用cascade mask rcnn模型检测图像文本，生成文本区域的深层卷积特征；
19.步骤3.2、将所述深层卷积特征通过仿射变换生成lstm初始状态，并输入到attention lstm网络中，输出概率最大的文字t
nearby
。
20.在上述利用logo标志图文信息的相似度logo发现方法中，步骤4中对步骤2.2提取图形特征信息g
logo
、步骤2.3捕获logo周边图像内容g
nearby
、以及步骤3.2输出概率最大的文字t
nearby
进行特征提取，具体过程包括如下：
21.步骤4.1、构建卷积神经网络模型vgg16，使用该模型对图像g
logo
、g
nearby
进行特征提取；
22.步骤4.2、使用bert预训练模型，对logo图像周边的文本t
nearby
进行特征提取。
23.在上述利用logo标志图文信息的相似度logo发现方法中，步骤5的实现包括：将logo的图形特征向量和文本特征向量进行concatenate操作，同时采用self-attention对拼接后的特征向量进行权值计算。
24.与现有技术相比，本发明的有益效果：能够实现相似logo的自动发现。通过应用fast r-cnn检测logo标志图像，解决了logo自动定位准确度受限的问题。利用预训练的bert和vgg16学习文本和图像的单模数据，获得了统一的logo图像语义表示，明确了logo图像相似度匹配计算路径。本发明所提出的相似logo发现方法，能够在图像和文本粒度层面实现大规模、批量化的相似logo图像自动匹配，可以提高logo相似性判断的客观性和一致性，从而解决当前商标侵权判定的司法实践中的困境。
附图说明
25.图1为本发明一个实施例流程图。
具体实施方式
26.下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相
互组合。
28.下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
29.本实施例利用logo标志图像和图像上下文细粒度片段进行相似logo发现，应用fast r-cnn进行目标检测以获得logo图像，按照一定窗口大小获取logo图像周边区域并通过ocr提取周边区域文本，提取并拼接图像和文本特征作为logo特征，最终通过双塔模型进行logo相似度匹配计算。其中，构建卷积神经网络模型vgg16提取图像特征，使用bert预训练模型提取文本特征。该方法包括数据获取、目标检测、机器视觉、自然语言处理等技术方法，能够在统一的标准下识别出相似logo，提高logo相似性判断的客观性和一致性，解决当前商标侵权判定等司法实践的困境。
30.本实施例是采用以下技术方案来实现的，利用logo标志图文信息的相似度logo发现方法，包括以下步骤：
31.s1，输入格式多样的logo图像，对不同尺寸、像素的logo进行预处理；
32.s2，构建基于深度神经网络的目标检测模型，检测输入图像中的logo图像部分；经过多次实验选定最佳窗口大小，以窗口为单位捕获logo周边图像内容；
33.s3，搭建attention-ocr神经网络模型，识别logo图像周边的文本；
34.s4，构建卷积神经网络、预训练语言模型，对以上步骤提取的文本、图像进行多粒度向量化表征；
35.s5，将logo的图形特征向量和文本特征向量进行拼接，形成logo特征；
36.s6，对于输入的多个logo图像，依据上述步骤进行特征捕获，运用双塔模型进行不同图像之间的相似度匹配计算，确定不同logo图像之间的匹配程度。
37.并且，s1所述的logo标志图像是指任何对其持有公司具有识别、推广作用的图像，包括且不限于png、bmp、jpg格式图像。所述预处理过程包括：图像平移和大小缩放、图像角度倾斜矫正、图像增强等。
38.并且，s2中应用目标检测算法fast r-cnn，提取出上述输入图像中的logo图像部分g
logo
，利用多尺度滑动窗口法，确定目标检测的最佳窗口大小，识别logo周边图像内容g
nearby
。具体过程包括：
39.s21，基于预处理的logo图像，对logo区域进行精准标注，构建logo识别数据集，并采取仿射变换、图像合成等方案扩充数据集；
40.s22，通过迁移学习加快fast r-cnn模型训练效果，采用dropout机制防止过拟合，提高目标检测精度，精确提取logo图像部分；
41.s23，通过多尺度滑动窗口法，以窗口为单位捕获logo周边图像内容。
42.并且，s3中搭建attention-ocr架构的中英文通用的str模型，经有监督训练检测出图像中的文本t
nearby
，具体过程包括：
43.s31，应用cascade mask rcnn模型检测图像文本，生成文本区域的深层卷积特征；
44.s32，将s31所述的深层卷积特征通过仿射变换生成lstm初始状态并输入到attention lstm网络中，输出概率最大的文字t
nearby
。
45.并且，s4中对s2、s3中检测到的图像g
logo
、g
nearby
以及文本t
nearby
进行特征提取，具体过程包括：
46.s41，构建卷积神经网络模型vgg16，使用该模型对图像g
logo
、g
nearby
进行特征提取；
47.s42，使用bert预训练模型，对logo图像周边的文本t
nearby
进行特征提取。
48.并且，s5中将logo的图形特征向量和文本特征向量进行concatenate操作，同时采用self-attention对拼接后的特征向量进行权值计算。
49.并且，s6中对两个logo图像依照上述步骤进行特征提取，编码为固定长度的向量，运用双塔模型计算两个logo图像的相似程度。
50.具体实施时，由于logo标志种类多样，本实施示例以由图像和文字组成的企业logo为例阐述相似logo发现的过程方法，如图1所示，利用logo标志图文信息的相似度logo发现方法，包括获取多种格式的logo图像，形成相似logo数据集；对logo图像进行预处理；构建fast r-cnn神经网络模型，检测logo标志中的logo图像部分，使用滑动窗口识别logo周边图像内容；构建attention-ocr模型，提取logo周边文本；运用vgg 16神经网络模型、bert预训练语言模型，对以上步骤提取的文本、图像进行多粒度向量化表征；将图像特征、文本特征拼接形成logo特征，使用双塔模型计算不同logo的相似度。
51.包括以下具体步骤：
52.s1中，输入格式多样的企业logo标志图像，进行格式统一、大小缩放、角度倾斜校正和图像增强等预处理操作；
53.s2中，应用目标检测算法fast r-cnn，检测出输入图像中的企业logo图像部分g
logo
，具体过程包括：
54.s21，基于输入的企业logo图像，对logo区域进行精准标注，构建logo识别数据集，并采取仿射变换、图像合成等方案扩充数据集；
55.s22，通过迁移学习加快fast r-cnn模型训练效果，采用dropout机制防止过拟合，提高目标检测精度，精确提取logo图像部分。
56.s23，利用多尺度滑动窗口法，确定目标检测的最佳窗口大小，以窗口为单位识别logo周边图像内容g
nearby
。
57.s3中，搭建attention-ocr架构的中英文通用的str模型，经有监督训练检测出图像中的文本t
nearby
。
58.s4中，对s2、s3中检测到的图像g
logo
、g
nearby
以及文本t
nearby
进行特征提取，具体过程包括：
59.s41，构建卷积神经网络模型vgg16，使用该模型对企业logo图像g
logo
、g
nearby
进行特征提取；
60.s42，使用bert预训练模型，对企业logo图像周边的文本t
nearby
进行特征提取。
61.s5中，将logo的图形特征向量和文本特征向量进行concatenate操作，同时采用self-attention对拼接后的特征向量进行权值计算。
62.s6中，对两个企业logo图像进行相似度匹配计算，具体过程包括：
63.s61，进一步提取两个企业logo图像特征，并编码为固定长度的向量；
64.s62，基于双塔模型计算其余弦相似度，确定两个企业logo图像的匹配程度。
65.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

技术特征：
1.利用logo标志图文信息的相似度logo发现方法，其特征在于：包括以下步骤：步骤1、输入多种格式的logo图像，对不同尺寸、像素的logo进行预处理；步骤2、构建基于深度神经网络的目标检测模型，检测输入图像中的logo图像部分；经过多次实验选定最佳窗口大小，以窗口为单位捕获logo周边图像内容；步骤3、搭建attention-ocr神经网络模型，识别logo图像周边的文本；步骤4、构建卷积神经网络、预训练语言模型，对以上步骤所提取logo图像周边的文本、图像进行多粒度向量化表征；步骤5、将logo的图形特征向量和文本特征向量进行拼接，形成logo特征；步骤6、对于输入的多个logo图像，依据上述步骤进行特征捕获，运用双塔模型进行不同图像之间的相似度匹配计算，确定不同logo图像之间的匹配程度。2.根据权利要求1所述利用logo标志图文信息的相似度logo发现方法，其特征在于：步骤1所述logo图像是指任何对其持有公司具有识别、推广作用的图像，包括且不限于png、bmp、jpg格式图像；所述预处理过程包括：图像平移和大小缩放、图像角度倾斜矫正、图像增强。3.根据权利要求1所述利用logo标志图文信息的相似度logo发现方法，其特征在于：步骤2的实现包括采用目标检测算法fast r-cnn，提取步骤1输入图像中的logo图像中的图形特征信息g
logo
，具体过程包括：步骤2.1、基于预处理的logo图像，识别对logo区域进行精准标注，构建logo识别数据集，并采取仿射变换、图像合成扩充数据集；步骤2.2、通过迁移学习加快fast r-cnn模型训练效果，采用dropout机制防止过拟合，从而提取图形特征信息g
logo
；步骤2.3、通过多尺度滑动窗口法，以窗口为单位捕获logo周边图像内容g
nearby
。4.根据权利要求3所述利用logo标志图文信息的相似度logo发现方法，其特征在于：步骤3的实现包括搭建attention-ocr架构的中英文通用str模型，经有监督训练检测出图像中的文本t
nearby
，具体过程包括：步骤3.1、应用cascade mask rcnn模型检测图像文本，生成文本区域的深层卷积特征；步骤3.2、将所述深层卷积特征通过仿射变换生成lstm初始状态，并输入到attention lstm网络中，输出概率最大的文字t
nearby
。5.根据权利要求4所述利用logo标志图文信息的相似度logo发现方法，其特征在于：步骤4中对步骤2.2提取图形特征信息g
logo
、步骤2.3捕获logo周边图像内容g
nearby
、以及步骤3.2输出概率最大的文字t
nearby
进行特征提取，具体过程包括如下：步骤4.1、构建卷积神经网络模型vgg16，使用该模型对图像g
logo
、g
nearby
进行特征提取；步骤4.2、使用bert预训练模型，对logo图像周边的文本t
nearby
进行特征提取。6.根据权利要求1所述利用logo标志图文信息的相似度logo发现方法，其特征在于：步骤5的实现包括：将logo的图形特征向量和文本特征向量进行concatenate操作，同时采用self-attention对拼接后的特征向量进行权值计算。

技术总结
本发明涉及计算机技术，具体涉及利用Logo标志图文信息的相似度Logo发现方法，包括获取多种格式的Logo图像，形成相似Logo数据集；构建FastR-CNN神经网络模型，检测Logo标志中的Logo图像部分，使用滑动窗口识别Logo周边图像内容；构建Attention-OCR模型，提取Logo周边文本；运用VGG16神经网络模型、BERT预训练语言模型，对所提取的文本、图像进行多粒度向量化表征；将图像特征、文本特征拼接形成Logo特征，使用双塔模型计算Logo的相似度。该方法能够在统一的标准下识别相似Logo，提高Logo相似性判断的客观性和一致性，解决当前商标侵权判定等司法实践的困境。法实践的困境。法实践的困境。


技术研发人员：张喜会 杜佳 周翔 何建平 黄佳妮
受保护的技术使用者：深圳市标准技术研究院
技术研发日：2021.11.05
技术公布日：2022/3/7