一种基于特征识别的用户对广告的认可度评价方法与流程

一种基于特征识别的用户对广告的认可度评价方法
1.本技术是申请号为：cn 202110687605.2，申请日为：2021/06/21，且发明名称为：一种基于voc车主大数据平台的智能媒介管理系统的分案申请。
技术领域
2.本发明属于大数据处理领域，具体涉及一种基于特征识别的用户对广告的认可度评价方法。


背景技术：

3.电梯、商场、车库、地铁站等场景中，几乎都设置有大量的用于播放广告的广告投放设备。这些设备会循环播放内置的广告视频。现有的广告投放设备通常只能按照固定的播放顺序播放服务器中的广告，无法针对不同的用户对广告的播放顺序或对广告播放的内容进行调整。如果需要更换播放的内容，则需要相关的设备管理人员从远程或现场对设备播放的内容进行人工切换或更新。
4.线上的广告投放时，广告商可以根据抓取的用户的网页浏览行为，或是各类app中的使用或搜索记录，对用户的需求进行分析和判断，预测出用户的喜好或需求，并基于此向用户精准地推送定向广告。而在线下投放广告时，用户对广告的评价难以判断，只能由广告商根据经验进行判定，在特定区域进行广告投放。事实上，大部分的广告商在投放线下广告时，甚至对用户的反馈并不关心，只希望通过“地毯式轰炸”的方式在不同场所对同一个广告内容进行密集地、全覆盖地推送，以期达到更好的宣传效果。这种广告投放方式低效而又浪费。出现这种困境的原因在于：现有技术中没有能够有效评估用户对广告的认可度的方法。如果能够解决这一问题，便可以在线下有效分析出不同广告的投放效果。


技术实现要素：

5.为了解决现有广告投放设备的广告投放效率低，无法获取线下用户对广告投放的反馈和评价的问题，本发明提供一种基于特征识别的用户对广告的认可度评价方法。
6.本发明采用以下技术方案实现：
7.一种基于特征识别的用户对广告的认可度评价方法，包括如下步骤：
8.s1：获取当前播放的广告的特征数据：
9.获取播放的各个广告的播放时长t，以及各个广告关联的关键词数据集。
10.s2：获取各个用户对广告播放的反馈数据，包括：
11.获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令；判断是否接收到要求切换当前播放的广告的指令：是则对反映该指令的特征量sw赋值为1；否则对sw赋值为0。
12.s3：计算各个用户对当前广告的认可度评价值，包括如下过程：
13.s31：对语音流数据进行语音识别，提取出其中与关键词数据集内的特征数据相匹
配的关键词，并统计其数量n1。
14.s32：对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量n2。
15.s33：对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长tn；其中，n表示当前用户的用户编号。
16.s34：对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比。
17.s35：获取sw的值。
18.s36：通过如下的公式计算各个用户对当前广告的认可度评价值en：
[0019][0020]
上式中，n表示当前用户的用户编号，en表示编号为n的用户对当前播放的广告的评价值，en≥0，且en的值越大反映用户对当前播放的多媒体的认可度越高；表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p
1,n
为表征编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p
2,n
为表征编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p
3,n
为表征编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
[0021]
作为本发明进一步的改进，步骤s1中，关联词在每个广告投放前已完成设定，每个广告关联的所述关键词数据集内的特征数据至少包括：
[0022]
(1)反映广告的宣传产品的关键词；
[0023]
(2)反映广告针对的目标客户群体的关键词；
[0024]
(3)反映广告的代言人或广告的人物形象的关键词；
[0025]
(4)广告词中的高频或特殊关键词；
[0026]
(5)广告的时长分类；
[0027]
(6)广告的风格分类。
[0028]
作为本发明进一步的改进，步骤s2中，用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互；语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；按键输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。
[0029]
作为本发明进一步的改进，语音关键词由语音识别算法根据实时的语音流数据识别获取。特征手势由视频动作识别算法根据实时的视频流数据获取得到。按键输入指令通过安装在广告播放现场的实体切换按键模块获取。
[0030]
作为本发明进一步的改进，步骤s2中，用户对广告播放的反馈数据包括以下部分的内容：
[0031]
(1)用户观看广告时表情的变化，包括喜欢、忽视或厌恶；
[0032]
(2)用户针对广告的直接讨论，是否涉及该广告对应的关键词数据集中的内容；
[0033]
(3)用户观看广告时作出的手势动作；
[0034]
(4)用户观看某个广告的注意力集中的时间；
[0035]
(5)用户是否要求切换当前播放的广告。
[0036]
作为本发明进一步的改进，用户观看某个广告的注意力集中的时间通过下式计算：
[0037][0038]
上式中，tn表示编号为n的用户对当前播放的广告的关注时长；t
1n
表示编号为n的用户在当前广告播放期间的直视时长；t
2n
表示编号为n的用户在当前广告播放期间的闭眼时长；t
3n
表示编号为n的用户在当前广告播放期间的低头时长；t
4n
表示编号为n的用户在当前广告播放期间的转头时长。
[0039]
作为本发明进一步的改进，步骤s32中，用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作。
[0040]
作为本发明进一步的改进，语音流数据通过安装在广告播放设备处的拾音器获取。
[0041]
作为本发明进一步的改进，视频流数据通过安装在广告播放设备周围的视频监控设备获取。
[0042]
作为本发明进一步的改进，步骤s34中，表情识别采用经过大量样本训练的神经网络算法完成。
[0043]
本发明提供的技术方案，具有如下有益效果：
[0044]
本发明提供的一种基于特征识别的用户对广告的认可度评价方法中，通过获取用户在播放广告时作出的各类型的反馈信息，然后利用语音识别、图像识别、视频动作识别等前沿技术识别出用户的各类型的反馈行为，并对各类型的反馈行为进行量化，进而为投放的不同广告赋予一个标准统一，且具有参考价值的认可度评价值。
[0045]
本发明计算出的认可度评价值考虑到了用户在观看广告期间能够检查出的所有反馈行为的类型。基于对反馈行为的各类型特征的识别，得出各个用户对不同广告的精准地认可度评价；进而可以作为评估广告投放效果的依据。
附图说明
[0046]
图1为本发明实施例1中提供的一种基于voc车主大数据平台的智能媒介管理系统的模块连接示意图；
[0047]
图2为本发明实施例1中一种基于用户画像的广告精准投放方法的流程图；
[0048]
图3为本发明实施例1中当前用户的用户标签的获取过程的逻辑框图；
[0049]
图4为本发明实施例1中当前用户群的目标画像数据集获取过程的逻辑框图；
[0050]
图5为本发明实施例2的一种广告分析数据库的创建方法的流程图；
[0051]
图6为本发明实施例2中广告分析数据库中身份标签内包含的特征数据的种类区分图；
[0052]
图7为本发明实施例2中用户画像数据集内包含的特征数据的类型区分图；
[0053]
图8为本发明实施例3中的一种广告分析数据库的创建系统的模块示意图；
[0054]
图9为本发明实施例4中的一种基于特征识别的用户对广告的认可度评价方法的流程图；
[0055]
图10为本发明实施例5中一种商圈场景下的用户需求的及时分析方法的流程图；
[0056]
图11为本发明实施例6中一种用户需求和广告内容的匹配方法的流程图；
[0057]
图12为本发明实施例7中提供的一种具备智能语音交互功能的车库巨幕max智能终端的模块示意图；
[0058]
图13为本发明实施例7的一种具备智能语音交互功能的车库巨幕max智能终端中，人机交互模块采用的切换指令的类型区分图。
具体实施方式
[0059]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0060]
实施例1
[0061]
本实施例提供一种基于voc车主大数据平台的智能媒介管理系统，该智能媒介管理系统用于获取当前用户与待投放的广告间的匹配度，进而对广告播放序列表进行调整。本实施例中，如图1所示，智能媒介管理系统包括：关键词提取模块，历史用户信息查询模块，用户类型分类模块，用户标签建立模块，身份特征识别模块，目标画像数据集建立模块，以及广告播放序列表调整模块。
[0062]
其中，关键词提取模块用于提取广告播放序列表中的各个广告关联的关键词数据集，关键词数据集内的特征数据为预先设定的多个与广告的内容相关的关键词。
[0063]
本实施例中，每个广告的所述关键词数据集内的特征数据和实施例1一样，至少包括：
[0064]
(1)反映广告的宣传产品的关键词。
[0065]
(2)反映广告针对的目标客户群体的关键词。
[0066]
(3)反映广告的代言人或广告的人物形象的关键词。
[0067]
(4)广告词中的高频或特殊关键词。
[0068]
(5)广告的时长分类。
[0069]
(6)广告的风格分类。
[0070]
历史用户信息查询模块用于向一个广告分析数据库查询各个历史用户的用户画像数据集，获取用户画像数据集中关于各个历史用户的各项特征数据。其中，广告分析数据
库存储在voc车主云大数据平台中。该广告分析数据库即为实施例1中创建的数据库。广告分析数据库中包含已收集的历史用户的用户画像数据集；用户画像数据集中包括各个历史用户的面部特征数据以及用户标签，用户标签中包括身份标签、喜好标签和厌恶标签；身份标签中存储有反映用户的身份特征的特征数据，所述身份标签中的特征数据包括：性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。喜好标签中存储有反映用户喜好的对象的特征数据，厌恶标签中存储有反映用户厌恶的对象的特征数据。身份特征识别模块提取的特征中，年龄段分为0-10岁，10-20岁，20-30岁，30-50岁，50-70岁或70岁以上；穿着风格包括休闲、商务、运动、儿童或老年。身份标签中的其它特征反映的内容包括是否佩戴眼镜，是否佩戴帽子，是否脱发，是否涂抹口红，是否穿高跟鞋，是否蓄须，是否佩戴腕表；对于上述特征，是则在其它特征中添加反映该特征的特征数据，否则不在其它特征中添加特征数据。
[0071]
用户类型分类模块用于提取一个广告投放区域内的所有目标用户的面部特征；然后将提取出的面部特征与广告分析数据库中的所有历史用户的面部特征进行比对，区分当前用户为历史用户还是新增用户。
[0072]
本实施例中，用户类型分类模块和身份特征识别模块的数据源均为广告投放区域的多角度监控的视频流数据；用户类型分类模块中包括面部特征提取单元、面部特征比对单元和用户类型分类单元。面部特征提取单元用于提取视频流数据中出现的所有用户的面部特征；面部特征比对单元用于获取面部特征提取单元提取出的所有面部特征和历史用户信息查询模块查询到的所有历史用户的面部特征，并对二者进行特征比对。用户类型分类单元用于根据面部特征比对单元区分出的结果将视频流数据中出现的所有用户分类为历史用户或新增用户。
[0073]
用户标签建立模块用于为每个新增用户建立一个空的用户标签，建立的用户标签中包括身份标签、喜好标签和厌恶标签；用户标签建立模块还在每个新增用户的身份标签中添加一个专属的用户编号。
[0074]
身份特征识别模块用于对新增用户进行身份特征提取，并将提取出的身份特征添加到对应的新增用户的身份标签中。
[0075]
目标画像数据集建立模块用于：
[0076]
(1)设定一个历史用户比例临界值q0，计算广告投放区域内识别为历史用户的当前用户在当前用户群中的占比q。
[0077]
(2)判断q与q0的大小关系，根据判断结果作出如下决策：
[0078]
(
ⅰ
)当q≥q0时，提取所有历史用户的喜好标签中的特征数据，对上述特征数据去重后，将其作为当前用户群的目标画像数据集；
[0079]
(
ⅱ
)当q＜q0时，先提取所有历史用户的喜好标签中的特征数据。再依次计算各个新增用户的身份标签中的内容与广告分析数据库中各个历史用户的身份标签中内容的重合度dc1。dc1的计算公式如下：
[0080][0081]
提取与各个新增用户的身份标签的重合度dc1最大的历史用户的喜好标签中的特征数据。将两部分特征数据合并，且完成特征数据去重后；作为当前用户群的目标画像数据
集。
[0082]
广告播放序列表调整模块用于：(1)计算关键词提取模块提取出的各个广告关联的关键词数据集中的特征数据与目标画像数据集中的特征数据的重合度dc2，dc2的计算公式如下：
[0083][0084]
(2)按照每个广告的dc2的计算结果从大到小的顺序，对广告播放序列表中的各个广告进行重新排序，得到调整后的广告播放序列表。
[0085]
在本实施例中，提供的基于voc车主大数据平台的智能媒介管理系统应用于一个具有多角度监控设备的广告投放系统中，广告投放系统用于根据广告播放序列表播放待投放的广告；多角度监控设备用于获取广告投放设备的广告投放区域中所有目标用户的多角度监控的视频流数据。身份特征识别模块利用图像识别单元对拍摄到的视频流数据的分帧图像进行图像识别，进而提取出图像中反映的与身份标签中存储的特征数据类别相同的特征。
[0086]
当然在其它实施例中，也可以将相关的广告投放系统和多角度监控设备作为本实施例中基于voc车主大数据平台的智能媒介管理系统的一部分。进而对本实施例中需要完成的数据采集、数据处理和数据分析和广告投放的过程进行一体化协调控制。
[0087]
本实施例还包括一种基于用户画像的广告精准投放方法。该精准投放方法应用于本实施例中的一种基于voc车主大数据平台的智能媒介管理系统中；如图2所示，该精准投放方法包括如下步骤：
[0088]
步骤一：获取当前用户的用户标签，如图3所示，具体过程如下：
[0089]
1、获取广告投放区域内各个当前用户的面部特征。
[0090]
2、对各个当前用户依次进行面部识别，根据面部识别的结果查询一个包含多个历史用户的用户画像数据集的广告分析数据库，并作出如下判断：
[0091]
(1)在当前用户的面部特征与其中一个历史用户面部特征数据中的特征数据相匹配时，获取历史用户的用户标签中的所有特征数据。
[0092]
(2)在当前用户的面部特征与所有的历史用户的面部特征数据中的特征数据均不匹配时，判定当前用户为新增用户，为新增用户建立一个空的用户标签。
[0093]
其中，用户画像数据集中包含对应的历史用户的面部特征数据和用户标签；用户标签包括身份标签、喜好标签和厌恶标签。
[0094]
3、获取新增用户的多角度图像，对多角度图像进行图像识别，根据识别结果对新增用户的身份标签内的特征数据进行补充；其中，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。
[0095]
步骤二：建立当前用户群的目标画像数据集，如图4所示，具体过程如下：
[0096]
1、设定一个历史用户比例临界值q0，计算广告投放区域内识别为历史用户的当前用户在当前用户群中的占比q。
[0097]
2、判断q与q0的大小关系，根据判断结果作出如下决策：
[0098]
(1)当q≥q0时，提取所有历史用户的喜好标签中的特征数据，对上述特征数据去
重后，将其作为当前用户群的目标画像数据集。
[0099]
(2)当q＜q0时，先提取所有历史用户的喜好标签中的特征数据；再依次计算各个新增用户的身份标签中的内容与各个历史用户的身份标签中内容的重合度dc1，dc1的计算公式如下：
[0100][0101]
提取与各个新增用户的身份标签的重合度dc1最大的历史用户的喜好标签中的特征数据；将两部分特征数据(识别出的历史用户以及与各个新增用户身份标签重合度最大的历史用户的喜好标签)合并，且完成特征数据去重后，作为当前用户群的目标画像数据集。
[0102]
步骤三：调整广告播放序列表中的广告的播放顺序，具体过程如下：
[0103]
1、获取广告播放序列表中的各个广告关联的关键词数据集，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。
[0104]
2、获取目标画像数据集中的特征数据，并计算各个广告关联的关键词数据集中的特征数据与目标画像数据集中的特征数据的重合度dc2，dc2的计算公式如下：
[0105][0106]
3、按照每个广告的dc2的计算结果从大到小的顺序，对广告播放序列表中的各个广告进行排序，得到重新调整的广告播放序列表。
[0107]
本实施中提供的一种广告投放系统中广告播放序列表的调整方法主要基于的原理和实现逻辑如下：
[0108]
由于本实施例已经获取到创建的广告分析数据库内的数据；因此在广告投放时，对于广告投放区域的所有用户进行人脸识别，能够区分出这些用户属于广告分析数据库中的历史用户，还是广告分析数据库未采集到的新增用户。
[0109]
考虑到广告分析数据已经实现了对历史用户的画像过程，即用户标签中丰富的特征数据。这时，当广告投放区域内的绝大部分用户均属于历史用户时，可以认为这些历史用户的需求和喜好能够代表当前的整个用户群体。通过获取相应的历史用户的喜好标签，然后提取其中的特征数据，就可以得到一个用于刻画当前用户群体喜欢或需求的目标画像数据集。
[0110]
当广告投放区域内的新增用户的数量达到一定程度时，就不能仅仅依靠历史用户进行画像。在这时再对这些新增用户进行实时的分析显然已经来不及，但是由于本实施可以查询到一个样本量足够大，数据足够丰富的广告分析数据集，因此本实施例可以通过对这些新增用户进行身份特征的识别(可以通过图像识别技术实现)，然后利用这种身份特征去和广告分析数据集中的用户标签比对，从中提取最契合的历史用户，用这个历史用户的用户标签临时作为新增用户的用户标签使用，进而得到该新增用户的喜好标签的中的特征。由于用户的身份特征(如年龄、身高、性别、穿着打扮、生理特征)与用户的需求或喜好(喜好标签中的特征)具有极大的相关性。因此本实施例中的这种近似替代应该是具有很高的可信度的。本实施例通过这种技术方案可以获得包含大量新增用户的用户群体的目标画
像数据集。
[0111]
在获得广告投放区域中的用户群体的目标画像数据集后，本实施例进一步将目标画像数据集中的特征数据与各个待播放的广告的关键词数据集进行比对，可以发现二者的重叠度，重叠度越高则说明该用户群体是该广告的目标客户，这时应该将这些广告放在优先投放的位置，基于这种逻辑，本实施例实现了对广告播放序列表的重新排序，保证最适合的广告能更优先投放到目标群体中。
[0112]
实施例2
[0113]
本实施例提供一个包含多个历史用户数据的广告分析数据库。该广告分析数据库即为实施例1中提及的广告分析数据库。该广告分析数据库里的数据实现了对用户兴趣爱好的精准画像；从而能够向用户进行精准的广告定向营销。
[0114]
广告分析数据库内的数据主要是在电梯、车库、商场等场景中，通过对用户的身份特征进行识别，并分析用户对视频类广告的认可度评价结果得到的。广告分析数据库内的数据主要包括以下几个方面的内容：
[0115]
(1)用户的面部特征；该特征主要用于区分不同用户的身份，作为用户的唯一身份标记，同时，广告分析数据库还根据不同的身份标记为用户分配一个专属的用户编号。
[0116]
(2)用户的身份特征；该部分数据的内容较为丰富，涵盖了可以获取到的对区分用户身份特征有用的一切特征，包括年龄、身高、体态、穿着打扮、生理状态等等，这些特征对于判断用户的工作类型、行为习惯、需求特点、爱好、群属等具有参考价值。
[0117]
(3)用户的喜好对象；该部分的数据是通过用户对不同类型广告的反馈获得的，这部分的内容是不断更新，不断优化的；基本可以刻画用户当前状态下的关心和喜好的对象。
[0118]
(4)用户的厌恶对象；该部分的数据是通过用户对不同类型广告的反馈获得的，这部分的内容也是不断更新，不断优化的；基本可以刻画用户当前状态下的不关心或厌恶的对象。
[0119]
在本实施例中，如图5所示，广告分析数据库的创建方法如下：
[0120]
步骤一、建立各个用户的用户标签
[0121]
1、在广告播放过程中，依次获取各个用户的面部特征，对面部特征进行面部识别。
[0122]
2、根据面部识别的结果查询广告分析数据库，判断当前用户的面部特征是否与广告分析数据库中的某个历史用户的面部特征匹配：
[0123]
(1)是则跳过当前用户。
[0124]
(2)否则为当前用户建立一个空的用户标签；用户标签中包括身份标签、喜好标签和厌恶标签。
[0125]
3、获取各个用户的多角度图像，根据多角度图像的图像识别结果，对各个用户的身份标签内的特征数据进行补充。
[0126]
在该步骤，可以实现对每个用户进行建档，无论是新增用户还是历史用户，只要该用户出现在目标区域，能够被捕捉到，就可以对该用户进行建档和分析。这使得本实施例中建立的广告分析数据库的规模能够达到较高水平，样本也足够丰富。为后期应用该数据库进行应用开发奠定数据基础。
[0127]
在本实施例中，如图6所示，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年
龄段和穿着风格的特征。
[0128]
身份标签中的年龄段为根据图像识别结果归类的0-10岁，10-20岁，20-30岁，30-50岁，50-70岁，70岁以上的其中一个；身份标签中的穿着风格包括休闲、商务、运动、儿童或老年。本实施例中考虑到年龄对用户的需求有着重要的影响，因此年龄特征是必须要考虑的身份特征之一。同时由于常规的图像信息收集无法直接获取到用户的职业特征，本实施例通过对用户穿着风格进行分类，可以在一定程度上对用户的职业或社会身份进行大致划分。
[0129]
同时，身份标签中的其它特征反映的内容包括是否佩戴眼镜，是否佩戴帽子，是否脱发，是否涂抹口红，是否穿高跟鞋，是否蓄须，是否佩戴腕表等；对于上述特征，是则在其它特征中添加反映该特征的特征数据，否则不在其它特征中添加特征数据。身份标签中的其它特征均是一些非常典型的区分用户的特征，这些特征与不同的用户的消费需求具有很大的相关性。例如涂口红穿高跟鞋的女性对服装、化妆品类的广告可能具有更高的好感度。蓄须的人通常对剃须刀并不非常关心。脱发人群对生发类产品和保健品可能更感兴趣等。
[0130]
事实上，在应用一些更多样的特征提取技术之后，本实施例还可以获取更多不同类型的身份特征，获得的特征量越丰富，对用户的特征分类也就更加细化。
[0131]
步骤二、获取当前播放的广告的特征数据
[0132]
1、获取播放的各个广告的播放时长t，以及各个广告关联的关键词数据集。
[0133]
其中，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。每个广告的所述关键词数据集内的特征数据至少包括：
[0134]
(1)反映广告的宣传产品的关键词。
[0135]
(2)反映广告针对的目标客户群体的关键词。
[0136]
(3)反映广告的代言人或广告的人物形象的关键词。
[0137]
(4)广告词中的高频或特殊关键词。
[0138]
(5)广告的时长分类。
[0139]
(6)广告的风格分类。
[0140]
本实施例中，为每个广告设置了丰富的关键词，这些关键词包括了客户可以从一个广告中接收到的各类型的信息。当用户对该广告表示认可，或对广告中的内容作出正面反馈时，则可以认为，该广告的关键词数据集中某些或全部特征是用户关心或喜好的。相反地，当用户对某个广告表现出厌恶或作出负面反馈时，则可以认为用户对该广告的关键词数据集中的某些特征是不关心或厌恶的。通过这种方式方式。当收集到相应用户对不同类型广告的反馈数据的样本量足够大时，基本可以分析出客户的喜好，进而能够实现对用户的喜好进行画像。
[0141]
步骤三、获取各个用户对广告播放的反馈数据
[0142]
1、获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令。
[0143]
其中，用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互。语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；按键
输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。
[0144]
语音关键词由语音识别算法根据实时的语音流数据识别获取；特征手势由视频动作识别算法根据实时的视频流数据获取得到；按键输入指令通过安装在广告播放现场的实体切换按键模块获取。
[0145]
在本实施例中，用户的反馈主要包括以下几个方面：
[0146]
(1)用户观看广告时表情的变化。
[0147]
(2)用户针对广告的直接讨论。例如谈论广告中的某个演员或代言人，谈论产品的效果等等
[0148]
(3)用户观看广告时作出的手势动作。例如某个用户的手直接指向广告播放设备，提示其它用户注意观看，这就反映该用户是关心当前播放的广告的。
[0149]
(4)用户观看某个广告的注意力集中的时间。
[0150]
(5)用户要求切换当前播放的广告。这直接反映了用户不喜欢该广告。
[0151]
此外，在技术条件成熟的情况也可以对其它类型反馈进行提取，并应用到后期的数据分析中，例如用户的笑声、以及其它细节方面的特征动作等。
[0152]
2、判断是否接收到要求切换当前播放的广告的指令，是则对反映该指令的特征量sw赋值为1，否则对sw赋值为0。
[0153]
步骤四、计算各个用户对当前广告的认可度评价值
[0154]
1、对语音流数据进行语音识别，提取出其中与关键词数据集内的特征数据相匹配的关键词，并统计其数量n1。
[0155]
2、对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量n2。
[0156]
其中，用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作等。
[0157]
3、对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长tn；其中，n表示当前用户的所述用户编号。
[0158]
编号为n的用户对当前播放的广告的关注时长tn的计算方法如下：
[0159][0160]
上式中，t
1n
表示编号为n的用户在当前广告播放期间的直视时长；t
2n
表示编号为n的用户在当前广告播放期间的闭眼时长；t
3n
表示编号为n的用户在当前广告播放期间的低头时长；t
4n
表示编号为n的用户在当前广告播放期间的转头时长。
[0161]
本实施例中，在统计用户对广告的关注时长时，既考虑到了用户直视广告播放界面的时长，也考虑到用户非直视状态下的时长。本实施例主要通过将确定属于非关注状态下的时长剔除，然后与确定属于关注状态的时长进行求平均值，得到相对准确的关注时长。
[0162]
4、对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用
户总体样本量中的占比。
[0163]
5、获取所述sw的值。
[0164]
6、通过如下的公式计算各个用户对当前广告的认可度评价值en：
[0165][0166]
上式中，n表示当前用户的用户编号，en表示编号为n的用户对当前播放的广告的评价值，en≥0，且en的值越大反映用户对当前播放的多媒体的认可度越高；表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p
1,n
为表征编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p
2,n
为表征编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p
3,n
为表征编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
[0167]
本实施例中，表情识别可以采用经过大量样本训练的神经网络算法完成。语音识别、视频动作识别等也都有大量可以直接应用的产品，对于这部分内容，本实施例不再进行赘述。
[0168]
本实施例中通过语音识别、图像识别和视频动作识别的技术从用户的语音流数据、和视频流数据提取出用户对播放的广告作出的各类型反馈信息，这些反馈信息经过本实施例提供的方法进行量化后，可以得到一个反映用户对当前广告的认可度的评价结果。这个结果反映了用户的当前广告的喜恶程度，进而可以用于刻画用户的需求或兴趣。
[0169]
步骤五、广告分析数据库的建立或更新
[0170]
1、设定en的一个高阈值eh和一个低阈值e
l
，其中，eh表示用户喜欢当前播放的广告的临界值，e
l
表示用户厌恶当前播放的广告的临界值，e
l
＞0。
[0171]
2、当en≥eh且p
1，n
+p
2，n
≥p
3，n
时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的喜好标签中，并对补充后的喜好标签进行特征数据去重；再将当前用户对应的厌恶标签中与关键词数据集内的特征数据相同的特征数据删除。
[0172]
3、当e≤e
l
且p
2，n
+p
3，n
≥p
1，n
时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的厌恶标签中，并对补充后的厌恶标签进行特征数据去重；再将当前用户对应的喜好标签中与关键词数据集内的特征数据相匹配的特征数据删除。
[0173]
4、更新每个用户的用户标签，得到各个用户的新的用户画像数据集，创建广告分析数据库。
[0174]
其中，如图7所示，用户画像数据集中包括对应的用户的面部特征数据和用户标签。
[0175]
广告分析数据库中最核心的内容是根据对用户的行为分析得到的喜好标签和厌恶标签的内容，这部分内容是后期用于进行用户需求分析的直接数据。在本实施例中，通过
对用户在观看广告时的反馈，可以直接估测出用户的喜恶，而用户的喜恶应该与广告的关键词数据集中的部分或全部特征是一致的。因此本实施例中在每个广告播放后，通过对用户的反馈信息的分析统计，确定用户该广告的准确态度，然后在满足特定条件时将广告的关键词数据集作为当前用户的喜好标签或厌恶标签中的特征。
[0176]
为了避免出现误分类的现象，这里需要对判定出的用户的态度进行更严格的审核。本实施例的判定过程引入了根据专家经验确定的特殊的阈值，以此作为判断用户的真实态度的依据，本实施例中的阈值eh和e
l
是经过反复核验之后确定，能够具有较高的可信度。进而保证最终对用户的画像是精准可靠的。
[0177]
实施例3
[0178]
本实施例中提供一种广告分析数据库的创建系统，该创建系统采用实施例2中包含的广告分析数据库的创建方法，实现广告分析数据库的创建和更新的过程。
[0179]
如图8所示，该创建系统包括：历史用户查询模块，广告特征数据提取模块，用户反馈数据提取模块，面部识别模块，图像识别模块，语音识别模块，视频动作识别模块，用户标签建立模块，认可度评价值计算模块，以及数据库创建模块。
[0180]
其中，历史用户查询模块用于查询一个广告分析数据库，提取其中已收集的历史用户的用户画像数据集；用户画像数据集中包括各个历史用户的面部特征数据以及用户标签，用户标签中包括身份标签、喜好标签和厌恶标签。
[0181]
广告特征数据提取模块用于在一个广告投放系统播放广告时，提取播放的每一个广告的播放时长t，以及该广告关联的一个关键词数据集。
[0182]
用户反馈数据提取模块，其用于：(1)在广告投放系统播放广告时获取广告投放区域内的由观看广告的用户产生语音信息，得到与各个广告相关的语音流数据。(2)在广告投放系统播放广告时获取广告投放区域内所有观看广告的用户的多角度的监控视频，得到与各个广告相关的视频流数据。(3)在广告投放系统播放广告时获取由观看广告的用户发出的一个切换指令，切换指令包括键盘输入指令、语音交互指令或手势交互指令；并在获取成功时将表征切换指令的特征量sw赋值为1，否则对sw赋值为0。
[0183]
面部识别模块用于根据视频流数据经分帧处理得到图像数据集，提取图像数据集中出现的各个用户的面部特征；完成当前用户的面部特征与广告分析数据库中各个历史用户的面部特征的比对过程，区分出新增用户和历史用户。
[0184]
图像识别模块用于对视频流数据经分帧处理得到的图像数据集进行图像识别，进而：(1)获取反映新增用户的身份特征的各项特征数据。(2)提取所有用户在广告播放期间的表情，并将表情分类为喜欢、忽视或厌恶中的其中一种。
[0185]
语音识别模块用于对语音流数据进行语音识别，进而：(1)获取广告播放期间由用户发出的表征要求切换当前播放的广告的所述语音交互指令。(2)提取语音流数据中的所有词语，从中找出与关键词数据集中的特征数据相匹配的关键词。
[0186]
视频动作识别模块用于对视频流数据进行视频动作识别，进而：(1)提取出视频流数据中由某个用户发出的表征要求切换当前播放的广告的手势交互指令。(2)提取出视频流数据中由某个用户发出的表征对当前播放的广告作出反馈的姿态动作。(3)提取出反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作。
[0187]
用户标签建立模块用于为识别出的每个新增用户创建一个空的用户标签，并将图
像识别模块获取的反映新增用户的身份特征的各项特征数据补充到对应用户的身份标签中。
[0188]
认可度评价值计算模块用于：(1)获取由语音识别模块从语音流数据中识别的与所述关键词数据集中的特征数据相匹配的关键词，并统计其数量n1。(2)获取由视频动作识别模块识别的反映用户对当前播放的广告的反馈的姿态动作，并统计其数量n2。(3)获取由视频动作识别模块识别的反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长tn；其中，n表示当前用户的用户编号。认可度评价值计算模块计算编号为n的用户对当前播放的广告的关注时长tn的计算公式如下：
[0189][0190]
上式中，t
1n
表示编号为n的用户在当前广告播放期间的直视时长；t
2n
表示编号为n的用户在当前广告播放期间的闭眼时长；t
3n
表示编号为n的用户在当前广告播放期间的低头时长；t
4n
表示编号为n的用户在当前广告播放期间的转头时长。
[0191]
(4)获取由图像识别模块识别的各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在总体样本量中的占比。(5)获取sw的值。(6)通过如下的公式计算各个用户对当前广告的认可度评价值en：
[0192][0193]
上式中，n表示当前用户的用户编号，en表示编号为n的用户对当前播放的广告的评价值，en≥0，且en的值越大反映用户对当前播放的多媒体的认可度越高；表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p
1,n
为表征编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p
2,n
为表征编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p
3,n
为表征编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
[0194]
数据库创建模块用于：(1)根据专家经验，设定en的一个高阈值eh和一个低阈值e
l
；其中，eh表示用户喜欢当前播放的广告的临界值，e
l
表示用户厌恶当前播放的广告的临界值，e
l
＞0。(2)针对每个用户作出如下判断和决策：(
ⅰ
)当en≥eh且p
1，n
+p
2，n
≥p
3，n
时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的喜好标签中，并对补充后的喜好标签进行特征数据去重；再将当前用户对应的所述厌恶标签中与关键词数据集内的特征数据相同的特征数据删除。(
ⅱ
)当e≤e
l
且p
2，n
+p
3，n
≥p
1，n
时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的厌恶标签中，并对补充后的厌恶标签进行特征数据去重；再将当前用户对应的喜好标签中与关键词数据集内的特征数据相匹
配的特征数据删除。(3)依次更新每个用户的用户标签，得到各个用户的新的用户画像数据集，进而完成广告分析数据库的创建或更新。其中，用户画像数据集中包括对应的用户的面部特征数据和用户标签。
[0195]
本实施例中的广告分析数据库在创建之初为空，当其中录入第一个历史用户的用户画像数据集之后，广告分析数据库的创建系统通过将当前用户的面部特征与广告分析数据库中历史用户的面部特征进行对比，确定当前用户为新增用户或历史用户；并将区分出的新增用户的用户画像数据集录入到广告分析数据库中，或是对广告分析数据库中已有的历史用户的用户画像数据集中的用户标签进行更新。
[0196]
实施例4
[0197]
在前述实施例的基础上，本实施例提供一种基于特征识别的用户对广告的认可度评价方法，如图9所示，该方法包括如下步骤：
[0198]
步骤一：获取当前播放的广告的特征数据
[0199]
获取播放的各个广告的播放时长t，以及各个广告关联的关键词数据集。
[0200]
其中，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。每个广告的所述关键词数据集内的特征数据至少包括：
[0201]
(1)反映广告的宣传产品的关键词。
[0202]
(2)反映广告针对的目标客户群体的关键词。
[0203]
(3)反映广告的代言人或广告的人物形象的关键词。
[0204]
(4)广告词中的高频或特殊关键词。
[0205]
(5)广告的时长分类。
[0206]
(6)广告的风格分类。
[0207]
步骤二、获取各个用户对广告播放的反馈数据
[0208]
1、获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令。
[0209]
其中，用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互。语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；按键输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。
[0210]
语音关键词由语音识别算法根据实时的语音流数据识别获取；特征手势由视频动作识别算法根据实时的视频流数据获取得到；按键输入指令通过安装在广告播放现场的实体切换按键模块获取。
[0211]
在本实施例中，用户的反馈主要包括以下几个方面：
[0212]
(1)用户观看广告时表情的变化。
[0213]
(2)用户针对广告的直接讨论。例如谈论广告中的某个演员或代言人，谈论产品的效果等等
[0214]
(3)用户观看广告时作出的手势动作。例如某个用户的手直接指向广告播放设备，提示其它用户注意，这就反映该用户是关心当前播放的广告的。
[0215]
(4)用户观看某个广告的注意力集中的时间。
[0216]
(5)用户要求切换当前播放的广告。这直接反映了用户不喜欢该广告。
[0217]
此外，在技术条件成熟的情况也可以对其它类型反馈进行提取，并应用到后期的数据分析中，例如用户的笑声、以及其它细节方面的特征动作等。
[0218]
2、判断是否接收到要求切换当前播放的广告的指令，是则对反映该指令的特征量sw赋值为1，否则对sw赋值为0。
[0219]
步骤三、计算各个用户对当前广告的认可度评价值
[0220]
1、对语音流数据进行语音识别，提取出其中与关键词数据集内的特征数据相匹配的关键词，并统计其数量n1。
[0221]
2、对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量n2。
[0222]
其中，用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作等。
[0223]
3、对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长tn；其中，n表示当前用户的用户编号。
[0224]
编号为n的用户对当前播放的广告的关注时长tn的计算方法如下：
[0225][0226]
上式中，t
1n
表示编号为n的用户在当前广告播放期间的直视时长；t
2n
表示编号为n的用户在当前广告播放期间的闭眼时长；t
3n
表示编号为n的用户在当前广告播放期间的低头时长；t
4n
表示编号为n的用户在当前广告播放期间的转头时长。
[0227]
本实施例中，在统计用户对广告的关注时长时，既考虑到了用户直视广告播放界面的时长，也考虑到用户非直视状态下的时长。本实施例主要通过将确定属于非关注状态下的时长剔除，然后与确定属于关注状态的时长进行求平均值大致可以得到相对准确的关注时长。
[0228]
4、对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比。
[0229]
5、获取所述sw的值。
[0230]
6、通过如下的公式计算各个用户对当前广告的认可度评价值en：
[0231][0232]
上式中，n表示当前用户的用户编号，en表示编号为n的用户对当前播放的广告的评价值，en≥0，且en的值越大反映用户对当前播放的多媒体的认可度越高；表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的
影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p
1,n
为表征编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p
2,n
为表征编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p
3,n
为表征编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
[0233]
本实施例提供的方法，能够根据用户在播放广告时作出反馈，对反馈的各类型特征进行识别，进而得出用户对该广告的认可度评价。这种方法可以采集到用户的各种不同类型的反馈，得到的用户对广告的认可度评价结果更加精准，能够作为评估广告投放效果的依据。
[0234]
实施例5
[0235]
本实施例提供一种商圈场景下的用户需求的及时分析方法，该方法是在实施例4的方法上进行进一步开发得到的，实现了对特定用户的用户需求进行最直接快速的预测或评估。如图10所示，该方法包括如下步骤：
[0236]
步骤1：获取广告投放区域内当前用户的面部特征。
[0237]
步骤2：对当前用户依次进行面部识别，根据面部识别的结果查询一个包含多个历史用户的用户画像数据集的广告分析数据库(广告分析数据库即为前述实施例中广告分析数据库)，作出如下判断：
[0238]
(1)在当前用户的面部特征与其中一个历史用户面部特征数据中的特征数据相匹配时，获取历史用户的用户标签中的所有特征数据。
[0239]
(2)在当前用户的面部特征与所有的历史用户的面部特征数据中的特征数据均不匹配时，判定当前用户为新增用户，为新增用户建立一个空的用户标签。
[0240]
其中，用户画像数据集中包含对应的历史用户的面部特征数据和用户标签；用户标签包括身份标签、喜好标签和厌恶标签。
[0241]
步骤3：获取新增用户的多角度图像，对多角度图像进行图像识别，根据识别结果对新增用户的身份标签内的特征数据进行补充；其中，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。
[0242]
步骤4：将所述身份标签中的所有特征数据与所述广告分析数据库中的各个历史用户的身份标签进行比对，计算二者之间的特征重合度dc3，dc3的计算公式如下：
[0243][0244]
步骤5：提取广告分析数据库中与当前用户的特征重合度dc3数值最大的历史用户的喜好标签和厌恶标签中的特征数据，将上述特征数据填充到新增用户的用户画像数据集中，完成对当前用户的用户需求的及时分析过程。
[0245]
分析上述过程可以发现，本实施例中的该方法，可以在用户刚出场时就对其进行分析和识别，进而建立一个预估的特征和行为的画像数据集，预测用户的喜好和厌恶的对象；并基于这种预测实现对用户需求的及时分析。这种分析的方法更加及时、有效，无需对
用户进行长时间的“跟踪”和评估。因此具有较高的实用价值，同时需要说明的是，这种及时分析结果的准确性，与包含多个历史用户的用户画像数据集的广告分析数据库中的样本量具有很大的相关性。广告分析数据库的样本量越大，这种及时分析的结果越准确。
[0246]
本实施例的方法的逻辑就是，首先获取出现在特定场景下的用户的面部特征，判定该用户的数据样本是否已经收录在广告分析数据库中，是则直接提取该用户收录在广告分析数据库中喜好标签和厌恶标签的内容，以此作为该用户的用户画像数据集，进而分析和预测出该用户的用户需求。当该用户的数据样本并未收录在广告分析数据库中之时，则先提取该用户的身份特征，然后将广告分析数据库中收录各各个历史用户中身份特征与该用户最相似(通过dc3判断)的历史用户的身份标签中的喜好标签和厌恶标签提取出来，并作为当前用户的用户画像数据集，进而分析出该用户的用户需求。
[0247]
实施例6
[0248]
本实施例提供一种用户需求和广告内容的匹配方法，该方法是在前述实施例的基础上开发的，用于从当前待投放的广告中挑选出与当前用户最匹配的广告；如图11所示，该匹配方法包括如下步骤：
[0249]
步骤1：获取当前待投放的所有广告的关键词数据集；该关键词数据集即为前述任意一个实施例中建立的关键词数据集；关键词数据集中包含了反映广告内容的各种特征数据的关键词。
[0250]
步骤2：获取当前用户的用户画像数据集，用户画像数据集就是前述实施例5提供的一种商圈场景下的用户需求的及时分析方法获取的最终结果；
[0251]
步骤3：计算各个广告的关键词数据集中的特征数据与当前用户画像数据集中的数据的匹配度dc4，dc4的计算公式如下：
[0252][0253]
步骤4：将dc4的值最大广告作为与当前用户最匹配的广告，完成用户需求和广告内容的匹配过程。
[0254]
经过匹配后的广告与用户的实际需求最匹配，也就可以获得最佳的宣传推广效果。在实际应用中，对于识别出的当前用户，应该优先投放最匹配的广告。
[0255]
本实施例中采用的用户需求和广告内容的匹配方法采用的是特征匹配，这种特征匹配过程中，表征用户的需求的特征(喜好表征中的特征)本身就是根据用户对历史广告播放过程中的反馈得出的，并且特征数据就是对应的广告的关键词。因此在与实际的待投放的广告进行特征匹配时，通常是非常容易匹配成功的，且考虑到用户的喜好通常具有一致性和长期性，因此这种特征匹配的结果也会更准确。
[0256]
实施例7
[0257]
本实施例提供一种具备智能语音交互功能的车库巨幕max智能终端，该车库巨幕max智能终端用于根据用户在播放广告时与自身交互的过程，实现对广告播放序列表中待投放广告的更新。该实施例的方案属于前述各个实施例中技术方案和成果的深度开发与应用。本实施例的具备智能语音交互功能的车库巨幕max智能终端采用前述实施例中的部分处理方法和设备模块。
[0258]
具体地，如图12所示，本实施例提供的车库巨幕max智能终端包括：广告播放模块、
语音采集模块、视频监控模块、广告特征数据提取模块、用户反馈数据提取模块、图像识别模块、语音识别模块、视频动作识别模块、人机交互模块、认可度评价值计算模块以及广告播放序列更新模块。
[0259]
其中，广告播放模块用于根据广告播放序列表依次播放各个待投放的广告，并在接收到一个由人机交互模块发出的切换指令后对正在播放的广告进行切换。其中，广告播放模块为车库巨幕max显示屏。
[0260]
语音采集模块用于在广告播放模块播放每个广告时，采集广告播放模块周围由观看广告的用户群产生的语音信息。语音采集模块为安装在车库巨幕max显示屏周围的多个拾音器；拾音器分布于面向车库巨幕max显示屏显示面的一侧。
[0261]
视频监控模块用于在广告播放模块播放每个广告时，对广告播放模块周围观看广告的用户群进行多角度监控。视频监控模块的取景范围是面向车库巨幕max显示屏显示面的一侧，视频监控模块包括多个监控摄像头，各个监控摄像头从不同角度对取景范围进行摄像。
[0262]
广告特征数据提取模块用于提取所述广告播放模块播放的每一个广告的播放时长t，以及该广告关联的一个关键词数据集。
[0263]
用户反馈数据提取模块用于：(1)接收语音采集模块采集的语音信息，得到与各个广告相关的语音流数据。(2)接收视频监控模块采集的多角度监控视频，得到与各个广告相关的视频流数据。(3)获取由一个人机交互模块发出的要求切换当前播放的广告的所述切换指令，并在接收到切换指令时，将表征切换指令的特征量sw赋值为1，否则对sw赋值为0。
[0264]
图像识别模块用于对视频流数据经分帧处理得到的图像数据集进行图像识别，进而提取所有用户在广告播放期间的表情，并将表情分类为喜欢、忽视或厌恶中的其中一种。图像识别模块包括表情识别单元，表情识别单元采用经过大量训练集训练的神经网络识别算法完成对图像中用户的表情的分类过程。
[0265]
语音识别模块用于对语音流数据进行语音识别，进而：(1)获取广告播放期间由用户发出的表征要求切换当前播放的广告的语音交互指令。(2)提取语音流数据中的所有词语，从中找出与关键词数据集中的特征数据相匹配的关键词。
[0266]
其中，语音识别模块包括语音交互指令提取单元和关键词提取单元，语音交互指令提取单元将提取到的语音交互指令发送到人机交互模块中的语音交互单元中；关键词提取单元将提取到的与关键词数据集中的特征数据相匹配的关键词发送到认可度评价值计算模块。
[0267]
视频动作识别模块用于对视频流数据进行视频动作识别，进而：(1)提取出视频流数据中由某个用户发出的表征要求切换当前播放的广告的手势交互指令。(2)提取出视频流数据中由某个用户发出的表征对当前播放的广告作出反馈的姿态动作；(3)提取出反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作。
[0268]
其中，视频动作提取模块包括手势交互指令提取单元、姿态动作反馈提取单元，眼神特征动作提取单元；手势交互指令提取单元将提取到的手势交互指令发送到人机交互模块中的手势交互单元中；姿态动作反馈提取单元和眼神特征动作提取单元将提取到的特征数据发送到认可度评价值计算模块。
[0269]
人机交互模块用于获取由用户发出的要求切换当前播放的广告的指令，并发出一
个切换指令；其中，如图13所示，用户发出要求切换当前播放的广告的方式包括按键输入、语音交互和手势交互。其中，人机交互模块中包括实体的按键模组，按键模组用于接收由用户直接发出的要求切换当前播放的广告的按键输入指令；人机交互模块还包括语音交互单元和手势交互单元；语音交互单元用于获取由用户发出的要求切换当前播放的广告的语音交互指令，语音交互指令由语音识别模块根据实时的语音流数据进行语音识别得到；手势交互单元用于获取由用户发出的要求切换当前播放的广告的手势交互指令，手势交互指令由视频动作识别模块根据实时的视频流数据进行视频动作识别得到。
[0270]
认可度评价值计算模块用于：(1)获取由语音识别模块识别的与关键词数据集中的特征数据相匹配的关键词，并统计其数量n1。(2)获取由视频动作识别模块识别的表征用户对当前播放的广告作出反馈的姿态动作，并统计其数量n2。(3)获取由视频动作识别模块识别的反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长tn；关注时长tn的计算公式如下：
[0271][0272]
上式中，t
1n
表示编号为n的用户在当前广告播放期间的直视时长；t
2n
表示编号为n的用户在当前广告播放期间的闭眼时长；t
3n
表示编号为n的用户在当前广告播放期间的低头时长；t
4n
表示编号为n的用户在当前广告播放期间的转头时长。(4)获取由图像识别模块识别的各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在总体样本量中的占比。(5)获取sw的值。(6)通过如下的公式计算各个用户对当前广告的认可度评价值en：
[0273][0274]
上式中，n表示当前用户的所述用户编号，en表示编号为n的用户对当前播放的广告的评价值，en≥0，且en的值越大反映用户对当前播放的多媒体的认可度越高；表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p
1,n
为编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p
2,n
为编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p
3,n
为编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
[0275]
广告播放序列更新模块用于：(1)获取一个更新周期内所有已播放的广告序列表中各个广告的平均认可度评价结果的计算公式如下：
[0276]
[0277]
上式中，i表示广告播放序列表中的各个广告的编号。(2)根据各个广告的值从大到小的顺序，对更新周期内所有的已播放广告进行排序，得到已播放广告的评分排名表。(3)获取需要增加投放的广告及其数量，将评分排名表中排名靠后的相应数量的已播放广告从广告播放序列表中删除，并将需要增加投放的广告添加到广告播放序列表中，完成广告播放序列表的更新过程。
[0278]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于特征识别的用户对广告的认可度评价方法，其特征在于，包括如下步骤：s1：获取当前播放的广告的特征数据：获取播放的各个广告的播放时长t，以及各个广告关联的关键词数据集；s2：获取各个用户对广告播放的反馈数据，包括：获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令；判断是否接收到要求切换当前播放的广告的指令：是则对反映该指令的特征量sw赋值为1；否则对sw赋值为0；s3：计算各个用户对当前广告的认可度评价值，包括如下过程：s31：对语音流数据进行语音识别，提取出其中与关键词数据集内的特征数据相匹配的关键词，并统计其数量n1；s32：对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量n2；s33：对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长t
n
；其中，n表示当前用户的用户编号；s34：对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比；s35：获取sw的值；s36：通过如下的公式计算各个用户对当前广告的认可度评价值e
n
：上式中，n表示当前用户的用户编号，e
n
表示编号为n的用户对当前播放的广告的评价值，e
n
≥0，且e
n
的值越大反映用户对当前播放的多媒体的认可度越高；表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p
1,n
为表征编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p
2,n
为表征编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p
3,n
为表征编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。2.如权利要求1所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：步骤s1中，关联词在每个广告投放前已完成设定，每个广告关联的所述关键词数据集内的特征数据至少包括：
(1)反映广告的宣传产品的关键词；(2)反映广告针对的目标客户群体的关键词；(3)反映广告的代言人或广告的人物形象的关键词；(4)广告词中的高频或特殊关键词；(5)广告的时长分类；(6)广告的风格分类。3.如权利要求1所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：步骤s2中，用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互；语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；按键输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。4.如权利要求3所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：步骤s2中，语音关键词由语音识别算法根据实时的语音流数据识别获取；所述特征手势由视频动作识别算法根据实时的视频流数据获取得到；按键输入指令通过安装在广告播放现场的实体切换按键模块获取。5.如权利要求1所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：步骤s2中，用户对广告播放的反馈数据包括以下部分的内容：(1)用户观看广告时表情的变化，包括喜欢、忽视或厌恶；(2)用户针对广告的直接讨论，是否涉及该广告对应的所述关键词数据集中的内容；(3)用户观看广告时作出的手势动作；(4)用户观看某个广告的注意力集中的时间；(5)用户是否要求切换当前播放的广告。6.如权利要求5所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：用户观看某个广告的注意力集中的时间通过下式计算：上式中，t
n
表示编号为n的用户对当前播放的广告的关注时长；t
1n
表示编号为n的用户在当前广告播放期间的直视时长；t
2n
表示编号为n的用户在当前广告播放期间的闭眼时长；t
3n
表示编号为n的用户在当前广告播放期间的低头时长；t
4n
表示编号为n的用户在当前广告播放期间的转头时长。7.如权利要求1所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：步骤s32中，用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作。8.如权利要求1所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：所述语音流数据通过安装在广告播放设备处的拾音器获取。9.如权利要求1所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：所述视频流数据通过安装在广告播放设备周围的视频监控设备获取。10.如权利要求1所述的基于特征识别的用户对广告的认可度评价方法，其特征在于：步骤s34中，表情识别采用经过大量样本训练的神经网络算法完成。

技术总结
本发明属于大数据处理领域，具体涉及一种基于特征识别的用户对广告的认可度评价方法。包括如下步骤：S1：获取当前播放的广告的特征数据：包括获取播放的各个广告的播放时长T，以及各个广告关联的关键词数据集。S2：获取各个用户对广告播放的反馈数据，包括：获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令；判断是否接收到要求切换当前播放的广告的指令。S3：根据不同的反馈信息，计算各个用户对当前广告的认可度评价值。本发明解决了现有广告投放设备无法获取线下用户对广告投放的反馈和评价的问题。的问题。的问题。


技术研发人员：苏娟 吴育怀 汪功林 陈孝君 梁雨菲
受保护的技术使用者：安徽西柚酷媒信息科技有限公司
技术研发日：2021.06.21
技术公布日：2022/3/8