基于视频内容分析的沉浸式氛围灯系统的制作方法

1.本发明属于视频处理技术领域，具体涉及一种基于视频内容分析的沉浸式氛围灯系统。


背景技术：

2.目前，氛围灯已经越来地多地被用于ktv、酒吧、汽车等空间，用来营造炫酷的氛围效果。
3.在汽车里，氛围灯多被安装于中控台、门扶手、音响、座椅、脚踏、顶棚等处。各大车厂目前多采用预先设定的多种效果模式，由使用者自行根据情境进行切换，也有根据天气、温度、音乐的等条件的不同自动变换氛围灯的颜色和频率等。
4.在ktv包厢里，目前只有有限类型的氛围灯效果可选，并且未做到与视听节目播放内容强相关。在家庭室内环境中，有在安装电视机的墙体安装氛围灯，不过其氛围模式有限，且作用范围为一个平面。未来随着网络的进一步发展和个性化理念的普及，在高铁、飞机的商务座以及包括影吧、剧场、ktv等各类娱乐场所的包厢内，均有可能在观看视频内容时每个观看者体验同一种氛围或者个性化氛围的需求。
5.在以上场景中，用户播放视频时，尚未见可以跟随视频内容画面不断变化的氛围效果。


技术实现要素：

6.鉴于以上存在的问题，本发明实施例提供一种基于视频内容分析的沉浸式氛围灯系统，可以基于分析视频内容的主色调，跟随视频内容画面不断变化的氛围效果。
7.为解决上述技术问题，本发明采用如下的技术方案：
8.本发明实施例第一方面提供一种基于视频内容分析的沉浸式氛围灯系统，，包括氛围灯配置模块、视频播放模块、图像色调分析模块和氛围灯渲染模块，
9.所述氛围灯配置模块用于将待设置氛围灯的空间映射成平面空间，并将映射成的平面空间与播放的视频画面平面对应，将待设置氛围灯的空间根据需独立控制渲染效果的区域划分为若干个独立氛围区块，将所有独立氛围区块包括对应的氛围灯id、开关状态数据形成氛围灯配置信息；
10.所述视频播放模块用于播放指定的视频，解码视频数据，将解码后的每一帧数据同时向图像色调分析模块输出；
11.所述图像色调分析模块用于接收图像帧数据和氛围灯配置信息，解析出独立氛围区块的对应的位置及宽高信息、氛围灯状态和氛围灯主色调；
12.所述氛围灯渲染模块用于接收氛围灯配置信息后进行解析，根据氛围灯状态点亮或关闭对应的氛围灯，点亮的氛围灯根据图像色调分析模块返回的的主色调颜色值进行设置。
13.第一方面的一种可能设计中，所述所述氛围灯渲染模块中，对于独立氛围区块的
氛围灯状态为关闭状态的，通过氛围灯id，向对应的氛围灯控制器发送关闭控制信号，氛围灯控制器关闭对应的氛围灯；对于点亮的氛围灯，接收图像色调分析模块返回的的主色调颜色值，向对应的氛围灯控制器发送颜色控制信号，氛围灯控制器按照主色调颜色控制对应的氛围灯颜色。
14.第一方面的一种可能设计中，所述图像色调分析模块解析出独立氛围区块的对应的位置及宽高信息包括：从图像帧数据中解析出图像的宽和高，从氛围灯配置信息中解析出独立氛围区块的信息，对于独立氛围区块的氛围灯状态为点亮状态的，获取其起始坐标位置和宽高信息，并将所述的起始坐标位置和宽高信息转换为图像对应区域的起始坐标位置和宽高。
15.第一方面的一种可能设计中，将独立氛围区块划分为若干个更小的独立氛围单元，每个独立氛围单元的氛围灯独立控制。
16.本发明实施例的第二方面提供一种汽车，所述汽车上设置如上任一所述的基于视频内容分析的沉浸式氛围灯系统。
17.第二方面的一种可能设计中，进一步包括乘坐场景模式选择模块，选择一个乘坐场景模式后，视频的氛围灯效果按照该模式定义的范围，再结合氛围灯配置模块的独立氛围区块配置信息进行渲染。
18.第二方面的一种可能设计中，乘坐场景模式的定义包括整车氛围模式，整车模式下车内所有独立氛围区块的氛围灯均参与氛围渲染。
19.第二方面的一种可能设计中，乘坐场景模式的定义包括驾驶员氛围模式，驾驶员氛围模式下为驾驶员对应的独立氛围区块的氛围灯参与氛围渲染。
20.第二方面的一种可能，乘坐场景模式的定义包括前排氛围模式，前排氛围模式下前排座椅对应的独立氛围区块的氛围灯参与氛围渲染。
21.第二方面的一种可能设计中，乘坐场景模式的定义包括后排氛围模式，后排氛围模式下后排座椅对应的独立氛围区块氛围灯参与氛围渲染。
22.第二方面的一种可能设计中，乘坐场景模式的定义包括整车乘客氛围模块，整车乘客氛围模式下车内除驾驶员外的所有独立氛围区块的氛围灯均参与氛围渲染。
23.第二方面的一种可能设计中，乘坐场景模式的定义包括自定义氛围模块，车内所有独立氛围区块分别配置激活或关闭区块氛围灯状态。
24.第二方面的一种可能设计中，乘坐场景模式的定义包括自定义氛围模块智能氛围，自定义氛围模块下自动获取驾乘人员的就座情况，根据就座情况分别配置激活区块氛围灯状态。
25.本发明实施例第三方面提供一种ktv包厢，所述ktv包厢内设置如上任一所述的基于视频内容分析的沉浸式氛围灯系统。
26.采用本发明具有如下的有益效果：
27.(1)氛围的效果表达可以根据视频画面内容的变化而相应变化；
28.(2)采用区块配置氛围灯的方法可以使得氛围表达可以根据场景的变化而变化，更有沉浸感。并进一步地，通过座位使用状态感知实现智能化地开关氛围灯区块，使得氛围包裹感加强的同时也起到了节能的目的。
附图说明
29.图1为本发明实施例的基于视频内容分析的沉浸式氛围灯系统的结构原理图；
30.图2为本发明实施例的汽车中待设置氛围灯的空间的结构示意图；
31.图3为本发明实例的ktv包厢中待设置氛围灯的空间的结构示意图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.参照图1，所示为本发明实例的基于视频内容分析的沉浸式氛围灯系统，包括氛围灯配置模块10、视频播放模块20、图像色调分析模块30和氛围灯渲染模块40，氛围灯配置模块10用于将待设置氛围灯的空间映射成平面空间，并将映射成的平面空间与播放的视频画面平面对应，将待设置氛围灯的空间根据需独立控制渲染效果的区域划分为若干个独立氛围区块，将所有独立氛围区块包括对应的氛围灯id、开关状态数据形成氛围灯配置信息；视频播放模块20用于播放指定的视频，解码视频数据，将解码后的每一帧数据同时向图像色调分析模块输出；图像色调分析模块30用于接收图像帧数据和氛围灯配置信息，解析出独立氛围区块的对应的位置及宽高信息、氛围灯状态和氛围灯主色调；
34.氛围灯渲染模块40用于接收氛围灯配置信息后进行解析，根据氛围灯状态点亮或关闭对应的氛围灯，点亮的氛围灯根据图像色调分析模块30返回的的主色调颜色值进行设置。
35.本发明一实施例中，将平面空间定义为对应于视频画面的w*h的平面，w为宽度，h为高度；每个独立氛围区块在平面中的坐标为αjw，βjh，宽度为γjw，高度为δjh；其中αj，βj，γj，δj的取值范围为0到1中的任何实数。从图像中解析出图像的宽和高，记为w
p
和h
p
。从配置信息中解析出独立氛围单元的信息，对于独立氛围单元的氛围灯状态为激活状态的，获取其坐标和宽高，并将独立氛围单元的坐标和宽高转换为图像对应区域的坐标和宽高：横坐标为αjw*w
p
，纵坐标为βjh*h
p
，宽度为γjw*w
p
，高度为δjh*h
p
。
36.本发明一实施例中，主色调颜色计算方法可采用计算该图像单元所有像素的rgb分量的平均值、找出该图像单元占比最多的颜色值、k-means聚类算法或者诸如中位切分法或者八叉树算法等颜色量化算法，不同地算法存在主色调的差异，因此本发明实施例中图像色调分析模块的计算方法可选。
37.在本发明实施例的基于视频内容分析的沉浸式氛围灯系统的基础上，本发明实施例提供了一种汽车，在汽车上设置如上的基于视频内容分析的沉浸式氛围灯系统。
38.本发明一实施例中，氛围灯配置模块搭载在汽车的中控车机系统中，提供可供用户定义车内所有的氛围灯在不同乘坐场景下的影响范围。氛围灯配置模块，在该配置中，在中控屏呈现一个模型，该模型为整个座舱的布局，参见图2所示，按照座椅分成不同的独立氛围区块。区块中独立氛围单元对应于该区块范围内的所有氛围灯，例如左前的驾驶员区块，对应的氛围灯包括驾驶员侧的中控台、门扶手、座椅、脚踏的氛围灯。每个独立氛围区块中的氛围灯可以选择激活/关闭状态，每个子区块的位置和大小可以通过按键或者触摸等
方式进行调节。
39.本发明一实施例中，一种汽车进一步包括乘坐场景模式选择模块，用于提供整车氛围、驾驶员氛围、前排氛围、后排氛围、整车乘客氛围、自定义氛围、智能氛围等紧凑型模式供选择，选择一个模式后，配置阶段的视频氛围效果呈现模块开始播放一个视频，视频的氛围灯效果按照该模式定义的范围，再结合子区域配置信息进行渲染。乘坐场景模式包括如下：
40.(1)整车氛围：车内所有独立氛围区块的氛围灯均参与氛围渲染；
41.(2)驾驶员氛围：仅驾驶员对应的独立氛围区块的氛围灯参与氛围渲染；
42.(3)前排氛围：仅前排座椅对应的独立氛围区块的氛围灯参与氛围渲染，一般包括主驾和副驾区块；
43.(4)后排氛围：仅后排座椅对应的独立氛围区块氛围灯参与氛围渲染；
44.(5)整车乘客氛围：车内除驾驶员外的所有独立氛围区块的氛围灯均参与氛围渲染；
45.(6)自定义氛围：车内所有独立氛围区块可以分别配置激活/关闭区块氛围灯状态。
46.(7)智能氛围：自动获取驾乘人员的就座情况，分别进入(1)到(6)的氛围灯。具体地，当检测到只有驾驶员时，进入(2)；当检测到副驾有乘客而后排没有乘客时果进入(3)；当检测到副驾无乘客而后排有乘客时进入(4)；当检测到副驾和后排均有乘客时进入(5)。并可以随着乘员就座变化随时自动切换进入(1)到(6)中的相应模式。
47.该配置过程也可以在车企的移动终端app上进行配置，并同步到车机上。
48.接收车内屏幕播放视频解码后的视频画面，从图像中解析出图像的宽和高，记为w
p
和h
p
。并从中控主机中获取当前的乘坐模式和区块氛围灯配置信息。获取该乘坐模式下对应配置信息中的参与渲染的独立氛围单元信息，将独立氛围单元的坐标和宽高转换为图像对应区域的坐标和宽高：
49.横坐标为αjw*w
p
，纵坐标为βjh*h
p
，宽度为γjw*w
p
，高度为δjh*h
p
。
50.按照转换后的区域价值和宽高将分割成不同的子图像单元，对子图像单元进行主色调分析计算得到主色调颜色值。主色调颜色计算方法可采用计算该图像单元所有像素的rgb分量的平均值、找出该图像单元占比最多的颜色值、k-means聚类算法或者诸如中位切分法或者八叉树算法等颜色量化算法，不同地算法存在主色调的差异，因此本分析单元中的计算方法可选。
51.在本发明实施例的基于视频内容分析的沉浸式氛围灯系统的基础上，本发明实施例提供了一种ktv包厢，ktv包厢内设置如上的基于视频内容分析的沉浸式氛围灯系统。
52.本发明一实施例中，ktv包厢的氛围灯配置模块中，ktv包厢整个视听座位包围的区域的布局如图3所示。在每个区域中，可以按照不同的分成不同的独立氛围区块。不同的独立氛围区块划分成不同的独立氛围单元，独立氛围单元对应于该区块范围内的所有氛围灯，例如各区域沙发的靠背、坐垫、脚踏区。每个独立氛围区块中的氛围灯可以选择激活/关闭状态，每个子区块的位置和大小可以通过按键或者触摸等方式进行调节。主色调分析模块接收电视机播放视频解码后的视频画面，从图像中解析出图像的宽和高，记为w
p
和h
p
。并从氛围灯配置模块中获取氛围灯配置信息。获取信息中的参与渲染的独立氛围单元信息，
将独立氛围单元的坐标和宽高转换为图像对应区域的坐标和宽高：横坐标为αjw*w
p
，纵坐标为βjh*h
p
，宽度为γjw*w
p
，高度为δjh*h
p
。按照转换后的区域价值和宽高将分割成不同的子图像单元，对子图像单元进行主色调分析计算得到主色调颜色值。主色调颜色计算方法可采用计算该图像单元所有像素的rgb分量的平均值、找出该图像单元占比最多的颜色值、k-means聚类算法或者诸如中位切分法或者八叉树算法等颜色量化算法，不同地算法存在主色调的差异，因此本分析单元中的计算方法可选。
53.应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

技术特征：
1.一种基于视频内容分析的沉浸式氛围灯系统，其特征在于，包括氛围灯配置模块、视频播放模块、图像色调分析模块和氛围灯渲染模块，所述氛围灯配置模块用于将待设置氛围灯的空间映射成平面空间，并将映射成的平面空间与播放的视频画面平面对应，将待设置氛围灯的空间根据需独立控制渲染效果的区域划分为若干个独立氛围区块，将所有独立氛围区块包括对应的氛围灯id、开关状态数据形成氛围灯配置信息；所述视频播放模块用于播放指定的视频，解码视频数据，将解码后的每一帧数据同时向图像色调分析模块输出；所述图像色调分析模块用于接收图像帧数据和氛围灯配置信息，解析出独立氛围区块的对应的位置及宽高信息、氛围灯状态和氛围灯主色调；所述氛围灯渲染模块用于接收氛围灯配置信息后进行解析，根据氛围灯状态点亮或关闭对应的氛围灯，点亮的氛围灯根据图像色调分析模块返回的的主色调颜色值进行设置。2.如权利要求1所述的基于视频内容分析的沉浸式氛围灯系统，其特征在于，所述所述氛围灯渲染模块中，对于独立氛围区块的氛围灯状态为关闭状态的，通过氛围灯id，向对应的氛围灯控制器发送关闭控制信号，氛围灯控制器关闭对应的氛围灯；对于点亮的氛围灯，接收图像色调分析模块返回的的主色调颜色值，向对应的氛围灯控制器发送颜色控制信号，氛围灯控制器按照主色调颜色控制对应的氛围灯颜色。3.如权利要求1所述的基于视频内容分析的沉浸式氛围灯系统，其特征在于，所述图像色调分析模块解析出独立氛围区块的对应的位置及宽高信息包括：从图像帧数据中解析出图像的宽和高，从氛围灯配置信息中解析出独立氛围区块的信息，对于独立氛围区块的氛围灯状态为点亮状态的，获取其起始坐标位置和宽高信息，并将所述的起始坐标位置和宽高信息转换为图像对应区域的起始坐标位置和宽高。4.如权利要求1所述的基于视频内容分析的沉浸式氛围灯系统，其特征在于，将独立氛围区块划分为若干个更小的独立氛围单元，每个独立氛围单元的氛围灯独立控制。5.一种汽车，其特征在于，所述汽车上设置如权利要求1至4任一所述的基于视频内容分析的沉浸式氛围灯系统。6.如权利要求1所述的汽车，其特征在于，进一步包括乘坐场景模式选择模块，选择一个乘坐场景模式后，视频的氛围灯效果按照该模式定义的范围，再结合氛围灯配置模块的独立氛围区块配置信息进行渲染。7.如权利要求6所述的汽车，其特征在于，乘坐场景模式的定义包括整车氛围模式，整车模式下车内所有独立氛围区块的氛围灯均参与氛围渲染。8.如权利要求6所述的汽车，其特征在于，乘坐场景模式的定义包括驾驶员氛围模式，驾驶员氛围模式下为驾驶员对应的独立氛围区块的氛围灯参与氛围渲染。9.如权利要求6所述的汽车，其特征在于，乘坐场景模式的定义包括前排氛围模式，前排氛围模式下前排座椅对应的独立氛围区块的氛围灯参与氛围渲染。10.如权利要求6所述的汽车，其特征在于，乘坐场景模式的定义包括后排氛围模式，后排氛围模式下后排座椅对应的独立氛围区块氛围灯参与氛围渲染。11.如权利要求6所述的汽车，其特征在于，乘坐场景模式的定义包括整车乘客氛围模块，整车乘客氛围模式下车内除驾驶员外的所有独立氛围区块的氛围灯均参与氛围渲染。
12.如权利要求6所述的汽车，其特征在于，乘坐场景模式的定义包括自定义氛围模块，车内所有独立氛围区块分别配置激活或关闭区块氛围灯状态。13.如权利要求6所述的汽车，其特征在于，乘坐场景模式的定义包括自定义氛围模块智能氛围，自定义氛围模块下自动获取驾乘人员的就座情况，根据就座情况分别配置激活区块氛围灯状态。14.一种ktv包厢，其特征在于，所述ktv包厢内设置如权利要求1至4任一所述的基于视频内容分析的沉浸式氛围灯系统。

技术总结
本发明公开了一种基于视频内容分析的沉浸式氛围灯系统，氛围灯配置模块用于将待设置氛围灯的空间映射成平面空间，并将映射成的平面空间与播放的视频画面平面对应，将待设置氛围灯的空间根据需独立控制渲染效果的区域划分为若干个独立氛围区块，将所有独立氛围区块包括对应的氛围灯ID、开关状态数据形成氛围灯配置信息；视频播放模块用于播放指定的视频，解码视频数据，将解码后的每一帧数据同时向图像色调分析模块输出；图像色调分析模块用于接收图像帧数据和氛围灯配置信息；氛围灯渲染模块用于接收氛围灯配置信息后进行解析，根据氛围灯状态点亮或关闭对应的氛围灯，点亮的氛围灯根据图像色调分析模块返回的的主色调颜色值进行设置。值进行设置。值进行设置。


技术研发人员：陈勇 孙彦龙 傅一丹 楼一品 裘昊
受保护的技术使用者：杭州当虹科技股份有限公司
技术研发日：2021.11.26
技术公布日：2022/3/8