基于视觉的违规经营检测方法及系统与流程

1.本技术属于城市管理技术领域，更具体地说，是涉及一种基于视觉的违规经营检测方法及系统。


背景技术：

2.随着我国加快推进城镇化建设，各个城市涌入大量人员。城镇规范管理，建设美丽城市生活环境是我们必须渡过的一关。随着城市化进程的加深，城市容貌也必须跟得上，更干净，更整洁。
3.但现在的城市现状是依然随处可见出店经营，占道经营的现象。这不仅给道路造成堵塞，影响正常交通；而且还影响市容市貌，不符合建设美丽城市的政策。现在，城市市容市貌以及环境问题成了政府需要解决的重要课题，针对出店经营，占道经营的违规现象，还没有一个完整的技术实施方案，主要是靠人力方式解决。城区各重点路段均安排执法人员进行蹲点式监督管理。同时加强日常监管，加大对城区各路段的巡查，发现出店经营、占道经营现象及时处理。对于人流量、车流量较大的地点，比如：学校、医院、农贸市场等重点路段，控制摆摊，安排专人在重点时段加强巡查，确保市容秩序。对违规经营人员现场取证，对其教育甚至罚款等处理。但这种方式太费人力且低效。


技术实现要素：

4.本技术实施例的目的在于提供一种基于视觉的违规经营检测方法及系统，以解决现有技术对管理街道违规经营过程中存在的人力要求高、效率低的技术问题。
5.为实现上述目的，本技术采用的技术方案是：提供一种基于视觉的违规经营检测方法，所述基于视觉的违规经营检测方法，包括以下步骤：
6.获取街道商铺经营的初始图像；
7.对初始图像进行目标检测，提取出初始图像中的所有目标；
8.对提取到的目标进行分类；
9.根据分类过滤干扰目标，输出违规经营的目标；
10.对初始图像进行道路分割，划分出店经营区域以及占道经营区域；
11.将违规经营的目标的所在区域结合道路分割的结果mask，输出出店经营目标以及占道经营目标。
12.优选地，所述获取街道商铺经营的初始图像的方法包括:
13.采集街道商铺经营的视频；
14.隔帧选取视频中的图像作为初始图像进行检测。
15.优选地，所述对提取到的目标进行分类的步骤包括：
16.将所有目标求得外接矩形；
17.将每个目标对应的外接矩形区域进行图形变换调整尺寸大小；
18.再输入分类网络进行类别预测。
19.优选地，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：
20.过滤边缘目标；
21.其中，过滤边缘目标的方法包括：
22.设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，过滤阈值为k；
23.若满足以下条件：
24.(x1《5||y1《5||(h-y2)《5||(w-x2)《5)&&((x
2-x1)
·
(y
2-y1)《w
·h·
k)，
25.则判定目标为边缘目标，并进行过滤，反之输出为违规经营的目标。
26.优选地，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：
27.过滤小目标；
28.其中，过滤小目标的方法包括：
29.设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，过滤阈值为k；
30.若满足以下条件：
31.(x
2-x1)
·
(y
2-y1)《w
·h·
k，
32.则判定目标为小目标，并进行过滤，反之输出为违规经营的目标。
33.优选地，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：
34.过滤异常宽高比目标；
35.其中，过滤异常宽高比目标的方法包括：
36.设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，最大宽高比限制为aspect ratio，esp为指数函数；
37.若满足以下条件：
[0038][0039]
则判定目标为异常宽高比目标，并进行过滤，反之输出为违规经营的目标。
[0040]
优选地，所述对初始图像进行道路分割之后，还包括步骤：
[0041]
输出道路分割的mask；
[0042]
将违规经营的目标的坐标信息映射到mask上；
[0043]
若违规经营的目标的坐标信息与mask区域相交至少一个像素点，则保留目标，反之则过滤。
[0044]
优选地，所述划分出店经营区域以及占道经营区域的步骤包括：
[0045]
将道路区域求得外接矩形，划定外接矩形两侧额定宽度区域为出店经营区域，剩余区域为占道经营区域。
[0046]
优选地，所述将违规经营的目标的所在区域结合道路分割的结果mask的步骤包括：
[0047]
将违规经营的目标的外接矩形信息映射到占道经营区域上；
[0048]
若违规经营的目标与占道经营区域相交至少一个像素点，则输出为占道经营目标，反之输出为出店经营目标。
[0049]
本技术还提供一种检测系统，所述检测系统包括：
[0050]
目标获取模块，用于获取街道商铺经营的初始图像；
[0051]
目标检测模块，用于对初始图像进行目标检测，提取出初始图像中的所有目标；
[0052]
分类模块，用于对提取到的目标进行分类，且根据分类过滤干扰目标，输出违规经营的目标；
[0053]
道路分割模块，用于对初始图像进行道路分割，划分出店经营区域以及占道经营区域；
[0054]
输出模块，用于将违规经营的目标的所在区域结合道路分割的结果mask，输出出店经营目标以及占道经营目标。
[0055]
本技术提供的基于视觉的违规经营检测方法，与现有技术相比，通过对提取到的目标进行分类，根据分类过滤干扰目标，输出违规经营的目标，能够基于视觉自动检测出街道商铺违规经营的行为，精确排除干扰对象；采用道路分割，划分出店经营区域以及占道经营区域，还能进一步区分出店经营以及占道经营两种行为，判断违规经营类别，精准化管理，降低人力需求，提升市容秩序以及管理效率。
[0056]
本技术提供的检测系统，与现有技术相比，能够检测出街道商铺违规经营的行为，提升市容市貌。
附图说明
[0057]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0058]
图1为本技术实施例提供的基于视觉的违规经营检测方法示意图；
[0059]
图2为本技术实施例提供的违规经营检测方法的运行流程示意图；
[0060]
图3为本技术实施例提供的目标检测的场景效果示意图；
[0061]
图4为本技术实施例提供的目标分类的示意图；
[0062]
图5为本技术实施例提供的道路分割的场景效果示意图；
[0063]
图6为本技术实施例提供的检测系统的示意图；
[0064]
图7为本技术实施例提供的检测系统应用于城市管理视频分析平台时的ui界面示意图。
具体实施方式
[0065]
为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0066]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可
以是直接连接到另一个元件或间接连接至该另一个元件上。
[0067]
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0068]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0069]
请一并参阅图1及图2，现对本技术实施例提供的基于视觉的违规经营检测方法进行说明。所述基于视觉的违规经营检测方法，包括以下步骤：
[0070]
步骤s1，获取街道商铺经营的初始图像；
[0071]
步骤s2，对初始图像进行目标检测，提取出初始图像中的所有目标；
[0072]
步骤s3，对提取到的目标进行分类；
[0073]
步骤s4，根据分类过滤干扰目标，输出违规经营的目标；
[0074]
步骤s5，对初始图像进行道路分割，划分出店经营区域以及占道经营区域；
[0075]
步骤s6，将违规经营的目标的所在区域结合道路分割的结果mask，输出出店经营目标以及占道经营目标。
[0076]
可以理解的是，请参阅图3及图4，所述基于视觉的违规经营检测方法先提取出初始图像中的所有目标，再将提取到的目标进行分类，分类的类别需要根据街道及店铺场景中常见的目标进行定义，这里常见的目标既包括干扰目标，也包括违规经营的目标。
[0077]
例如，干扰目标的类别包括人、盆栽绿植、人骑车、市政垃圾桶、雨伞、店铺玻璃门、地毯、公共座椅、井盖、消防器材等，这些类别的干扰目标常会出现在道路区域，但是并不属于出店经营以及占道经营。因此，在步骤s4中，需要过滤干扰目标，只输出违规经营的目标。
[0078]
请参阅图5，为进一步判别违规经营的目标属于出店经营目标还是占道经营目标，这里采用了道路分割的方法，划分出店经营区域以及占道经营区域，例如，离店铺门口向道路延伸大约1/4宽度的区域被限定为出店经营区域，其余均为占道经营区域，将违规经营的目标的所在区域结合道路分割的结果mask，落在出店经营区域的违规经营的目标输出为出店经营目标，落在占道经营区域的违规经营的目标输出为占道经营目标。
[0079]
本技术提供的基于视觉的违规经营检测方法，与现有技术相比，通过对提取到的目标进行分类，根据分类过滤干扰目标，输出违规经营的目标，能够基于视觉自动检测出街道商铺违规经营的行为，精确排除干扰对象；采用道路分割，划分出店经营区域以及占道经营区域，还能进一步区分出店经营以及占道经营两种行为，判断违规经营类别，降低人力需求，精准化管理，提升市容秩序及管理效率。
[0080]
在本技术另一个实施例中，请一并参阅图2，在步骤s1中，所述获取街道商铺经营的初始图像的方法包括:
[0081]
步骤s1.1，采集街道商铺经营的视频；
[0082]
步骤s1.2，隔帧选取视频中的图像作为初始图像进行检测。
[0083]
可以理解的是，由于每一个城市街道众多，采集的街道商铺经营的视频众多，为提
高检测速度，兼具检测范围，可以采用隔帧选取视频中的图像作为初始图像进行检测的方法。同时，为提高检测准确率，可以设定连续检测到两帧图像的输出结果一致，才为有效结果，以避免偶然因素的干扰。
[0084]
在本技术另一个实施例中，请一并参阅图4，在步骤s3中，所述对提取到的目标进行分类的步骤包括：
[0085]
步骤s3.1，将所有目标求得外接矩形；
[0086]
步骤s3.2，将每个目标对应的外接矩形区域进行图形变换调整尺寸大小；
[0087]
步骤s3.3，再输入分类网络进行类别预测。
[0088]
可以理解的是，所述外接矩形指的是最小外接矩形，因为根据最小外接矩形截取到的目标图像块会大小尺寸不一样，可以将其resize到112x112尺寸再输入efficientnet-b3分类网络进行类别预测。
[0089]
另外，在步骤s4中，干扰目标的类别可以根据当地街道的规定进行设置，同一类别在不同的街道、时间点可能会存在区别。例如，根据当地街道办的规定，有的街道允许在早上7:00-9:00占道经营蔬菜类，则可以根据当地街道办的规定设定时间段以及干扰类别，以免输出错误的检测结果。
[0090]
在本技术另一个实施例中，请一并参阅图2，在步骤s4中，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：
[0091]
步骤s4.1，过滤边缘目标；
[0092]
其中，过滤边缘目标的方法包括：
[0093]
设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，过滤阈值为k；
[0094]
若满足以下条件：
[0095]
(x1《5||y1《5||(h-y2)《5||(w-x2)《5)&&((x
2-x1)
·
(y
2-y1)《w
·h·
k)，
[0096]
则判定目标为边缘目标，并进行过滤，反之输出为违规经营的目标。
[0097]
可以理解的是，由于位于原始图像边缘的目标容易出现显示不全的情况，因此残缺的目标容易影响目标分类的准确性。如此，通过过滤边缘目标，可以将位于原始图像边缘的目标进行过滤，以提高目标分类的准确性。
[0098]
值得补充说明的是，过滤阈值为k可以实际场景自由设定，在大多数实际情况下0.001≤k≤0.002。
[0099]
在本技术另一个实施例中，请一并参阅图2，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：
[0100]
步骤s4.2，过滤小目标；
[0101]
其中，过滤小目标的方法包括：
[0102]
设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，过滤阈值为k；
[0103]
若满足以下条件：
[0104]
(x
2-x1)
·
(y
2-y1)《w
·h·
k，
[0105]
则判定目标为小目标，并进行过滤，反之输出为违规经营的目标。
[0106]
可以理解的是，由于摄像头拍摄的街景图像视角都是沿着街道的长度方向拍摄的，同一物体在近景与远景状态下小大差异明显，由于远景中的目标较多而复杂，并且清晰度低于近景，因此，远景容易容易影响目标分类的准确性。如此，通过过滤小目标，可以将位于原始图像远景的目标进行过滤，以提高目标分类的准确性。
[0107]
值得补充说明的是，过滤阈值为k可以实际场景自由设定，在大多数实际情况下0.001≤k≤0.002。
[0108]
在本技术另一个实施例中，请一并参阅图2，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：
[0109]
步骤s4.3，过滤异常宽高比目标；
[0110]
其中，过滤异常宽高比目标的方法包括：
[0111]
设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，最大宽高比限制为aspect ratio，esp为指数函数；
[0112]
若满足以下条件：
[0113][0114]
则判定目标为异常宽高比目标，并进行过滤，反之输出为违规经营的目标。
[0115]
可以理解的是，由于在目标提取过程中，可能会出现目标提取错误，例如将门框、路灯、马路上的标识物体识别成目标，异常宽高比目标容易容易影响目标分类的准确性。如此，通过过滤异常宽高比目标，可以将位于原始图像中的异常宽高比目标进行过滤，以提高目标分类的准确性。
[0116]
值得补充说明的是，最大宽高比限制为aspect ratio可以实际场景自由设定，在大多数实际情况下20≤aspect ratio≤40。esp的作用主要是防止特殊情况下y1＝y2或者x1＝x2，导致分母为零，系统崩溃，例如esp为1e-16
。
[0117]
在本技术另一个实施例中，在步骤s5中，所述对初始图像进行道路分割之后，还包括步骤：
[0118]
步骤s5.1，输出道路分割的mask；
[0119]
步骤s5.2，将违规经营的目标的坐标信息映射到mask上；
[0120]
步骤s5.3，若违规经营的目标的坐标信息与mask区域相交至少一个像素点，则保留目标，反之则过滤。
[0121]
可以理解的是，通过将违规经营的目标的坐标信息映射到mask上，这样做是为了排除目标检测器误检不在地面上的目标，过滤与mask区域无相交至少一个像素点的目标。
[0122]
进一步地，在步骤s5中，所述划分出店经营区域以及占道经营区域的步骤包括：
[0123]
步骤s5.1，将道路区域求得外接矩形，划定外接矩形两侧额定宽度区域为出店经营区域，剩余区域为占道经营区域。
[0124]
可以理解的是，所述额定宽度需要根据当地街道办的规定设定，例如划定外接矩形两侧四分之一宽度为出店经营区域，剩余区域为占道经营区域。
[0125]
进一步地，在步骤s6中，所述将违规经营的目标的所在区域结合道路分割的结果
mask的步骤包括：
[0126]
步骤s6.1，将违规经营的目标的外接矩形信息映射到占道经营区域上；
[0127]
步骤s6.2，若违规经营的目标与占道经营区域相交至少一个像素点，则输出为占道经营目标，反之输出为出店经营目标。
[0128]
可以理解的是，如此以精准划分出店经营目标以及占道经营目标，对于与出店经营区域以及占道经营区域都有交叉的目标一样可以划分。
[0129]
请参阅图6，本技术还提供一种检测系统，所述检测系统包括：
[0130]
目标获取模块，用于获取街道商铺经营的初始图像；
[0131]
目标检测模块，用于对初始图像进行目标检测，提取出初始图像中的所有目标；
[0132]
分类模块，用于对提取到的目标进行分类，且根据分类过滤干扰目标，输出违规经营的目标；
[0133]
道路分割模块，用于对初始图像进行道路分割，划分出店经营区域以及占道经营区域；
[0134]
输出模块，用于将违规经营的目标的所在区域结合道路分割的结果mask，输出出店经营目标以及占道经营目标。
[0135]
例如，目标获取模块为常规市政监控用摄像头，所述目标检测模块yolox目标检测器或其它cnn结构目标检测网络，所述分类模块为主干网络为efficientnet-b3的分类器或其他cnn结构的特征提取网络，所述道路分割模块为道路分割网络bisenet或其他cnn结构的网络。
[0136]
请参阅图7，所述检测系统可以应用于城市管理视频分析平台，通过城市管理视频分析平台可以共同管理街道违规经营、暴露垃圾、车辆违停等现象，为城市管理提供便利。
[0137]
本技术提供的检测系统，与现有技术相比，能够检测出街道商铺违规经营的行为，提升市容市貌。
[0138]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于视觉的违规经营检测方法，其特征在于，包括以下步骤：获取街道商铺经营的初始图像；对初始图像进行目标检测，提取出初始图像中的所有目标；对提取到的目标进行分类；根据分类过滤干扰目标，输出违规经营的目标；对初始图像进行道路分割，划分出店经营区域以及占道经营区域；将违规经营的目标的所在区域结合道路分割的结果mask，输出出店经营目标以及占道经营目标。2.如权利要求1所述的基于视觉的违规经营检测方法，其特征在于，所述获取街道商铺经营的初始图像的方法包括:采集街道商铺经营的视频；隔帧选取视频中的图像作为初始图像进行检测。3.如权利要求1所述的基于视觉的违规经营检测方法，其特征在于，所述对提取到的目标进行分类的步骤包括：将所有目标求得外接矩形；将每个目标对应的外接矩形区域进行图形变换调整尺寸大小；再输入分类网络进行类别预测。4.如权利要求1所述的基于视觉的违规经营检测方法，其特征在于，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：过滤边缘目标；其中，过滤边缘目标的方法包括：设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，过滤阈值为k；若满足以下条件：(x1<5||y1<5||(h-y2)<5||(w-x2)<5)&&((x
2-x1)
·
(y
2-y1)<w
·
h
·
k)，则判定目标为边缘目标，并进行过滤，反之输出为违规经营的目标。5.如权利要求1所述的基于视觉的违规经营检测方法，其特征在于，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：过滤小目标；其中，过滤小目标的方法包括：设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，过滤阈值为k；若满足以下条件：(x
2-x1)
·
(y
2-y1)<w
·
h
·
k，则判定目标为小目标，并进行过滤，反之输出为违规经营的目标。6.如权利要求1所述的基于视觉的违规经营检测方法，其特征在于，在根据分类过滤干扰目标之后，输出违规经营的目标之前，还包括步骤：过滤异常宽高比目标；其中，过滤异常宽高比目标的方法包括：
设定目标的矩形框在初始图像中的坐标信息为(x1，y1，x2，y2)，其中(x1，y1)为矩形框左上点坐标，(x2，y2)为矩形框右下点坐标；设定图像的宽为w，图像的高为h，最大宽高比限制为aspect ratio，esp为指数函数；若满足以下条件：则判定目标为异常宽高比目标，并进行过滤，反之输出为违规经营的目标。7.如权利要求1至6任意一项所述的基于视觉的违规经营检测方法，其特征在于，所述对初始图像进行道路分割之后，还包括步骤：输出道路分割的mask；将违规经营的目标的坐标信息映射到mask上；若违规经营的目标的坐标信息与mask区域相交至少一个像素点，则保留目标，反之则过滤。8.如权利要求7所述的基于视觉的违规经营检测方法，其特征在于，所述划分出店经营区域以及占道经营区域的步骤包括：将道路区域求得外接矩形，划定外接矩形两侧额定宽度区域为出店经营区域，剩余区域为占道经营区域。9.如权利要求8所述的基于视觉的违规经营检测方法，其特征在于，所述将违规经营的目标的所在区域结合道路分割的结果mask的步骤包括：将违规经营的目标的外接矩形信息映射到占道经营区域上；若违规经营的目标与占道经营区域相交至少一个像素点，则输出为占道经营目标，反之输出为出店经营目标。10.一种检测系统，其特征在于，包括：目标获取模块，用于获取街道商铺经营的初始图像；目标检测模块，用于对初始图像进行目标检测，提取出初始图像中的所有目标；分类模块，用于对提取到的目标进行分类，且根据分类过滤干扰目标，输出违规经营的目标；道路分割模块，用于对初始图像进行道路分割，划分出店经营区域以及占道经营区域；输出模块，用于将违规经营的目标的所在区域结合道路分割的结果mask，输出出店经营目标以及占道经营目标。

技术总结
本申请提供了一种基于视觉的违规经营检测方法及系统，所述基于视觉的违规经营检测方法包括以下步骤：获取街道商铺经营的初始图像；对初始图像进行目标检测，提取出初始图像中的所有目标；对提取到的目标进行分类；根据分类过滤干扰目标，输出违规经营的目标；对初始图像进行道路分割，划分出店经营区域以及占道经营区域；将违规经营的目标的所在区域结合道路分割的结果mask，输出出店经营目标以及占道经营目标；本申请的基于视觉的违规经营检测方法能够基于视觉自动检测出街道商铺违规经营的行为，精确排除干扰对象；还能进一步区分出店经营以及占道经营两种行为，判断违规经营类别，精准化管理，降低人力需求，提升市容秩序以及管理效率。以及管理效率。以及管理效率。


技术研发人员：李山路 王和平 李球 胡玲静 张笑天 李希
受保护的技术使用者：盛视科技股份有限公司
技术研发日：2021.11.26
技术公布日：2022/3/8