一种基于AI数字人的直播交互方法以及系统与流程

本发明涉及人工智能，特别是一种基于ai数字人的直播交互方法以及系统。

背景技术：

1、随着人工智能技术的不断进步，ai数字人作为一种新型的互动媒介，逐渐在直播领域崭露头角，然而，现有的ai数字人直播系统在交互性和个性化方面仍存在一定的局限性，一方面，现有的ai数字人多基于二维图像或预制的3d模型，缺乏真实感和个性化特征，难以与观众建立深层次的的情感连接，另一方面，现有的直播系统对于观众信息的收集和处理多停留在表面层次，缺乏对观众多维信息的深入分析，导致交互指令的生成和执行过于机械，无法满足观众对于个性化、实时互动的需求，这种模式不仅限制了直播内容的多样性和创新性，也影响了观众的观看体验和满意度。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了一种基于ai数字人的直播交互方法、装置、计算机设备及存储介质解决现有直播在观众和ai数字人的交互中个性化不足及观众偏好预测不准确的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明实施例提供了一种基于ai数字人的直播交互方法，其包括，

5、使用图像处理和nerf技术创建ai数字人模型，集成多模态信息到ai数字人模型中形成独特数字人；

6、集成观众多维度信息，将其转换成数据格式，上传至交互处理中心并生成相应的交互指令；

7、将交互指令分配给ai数字人主播执行，ai数字人主播将执行结果反馈给交互处理中心；

8、交互处理中心根据观众的即时反馈，预测观众偏好，生成个性化直播内容，以提高观众满意度。

9、作为本发明所述基于ai数字人的直播交互方法的一种优选方案，其中：通过问卷调查及对社交媒体数据的分析，对ai数字人进行角色定位、外观进行设计及表情和动作库的规划；

10、根据角色塑造与动画规划创建基础3d模型，包括塑造人物外形、纹理贴图、添加细节，为模型添加骨骼系统，进行蒙皮绑定，使用动作捕捉技术制作基础动作库；

11、集成多模态信息是指直接采用图像处理和nerf技术克隆真人外观，结合语音克隆技术，复制真人的声音特点，为数字人配置文字转语音、语音驱动面部表情和实时语音驱动数字人动画的功能。

12、作为本发明所述基于ai数字人的直播交互方法的一种优选方案，其中：集成观众多维度信息是指通过直播平台收集用户id、观看时长、点赞数、评论内容、分享次数和进入直播间的实际时间点、退出时间点；

13、通过专用app进行数据捕获是指在app内嵌入事件跟踪机制，记录观众在app内的互动行为包括浏览页面、点击热区、参与互动环节、集成opencv库进行面部表情识别，捕捉用户的即时情绪反应，分析观众在不同时间段的活跃程度，基于观众历史互动记录，识别个人偏好；

14、将集成的观众多维度数据利用pandas库进行数据清洗包括删除重复记录、处理缺失值、时间序列数据标准化及去除噪声，将清洗后的数据按用户id整合，形成用户行为序列，对情感分析结果进行编码，正面情感赋值1，负面情感赋值-1，中性赋值0，将处理好的数据转换成json格式，每一项观众数据作为一个对象，包含用户id、时间、情感标签、关键词列表和偏好，通过事先预设好的api接口上传至交互处理中心，准备用于下一步分析。

15、作为本发明所述基于ai数字人的直播交互方法的一种优选方案，其中：上传至交互处理中心并生成相应的交互指令是指通过市场调研和用户访谈，明确目标观众群体的兴趣点、常见互动模式和偏好，基于需求分析，将交互指令分为提问指令、点赞指令、要求换话题指令、情绪反馈指令、个性化推荐指令和互动游戏启动指令，为每类指令设定响应逻辑，当接收到具体指令时，ai数字人应先确认新话题，然后使用适当的过渡语句引入新话题。

16、作为本发明所述基于ai数字人的直播交互方法的一种优选方案，其中：将交互指令分配给ai数字人主播执行，ai数字人主播将执行结果反馈给交互处理中心是指交互处理中心接收数据后，使用自然语言解析评论并判断互动类型，根据解析结果，依据预定义的指令模板生成具体的交互指令并推送给ai数字人处理系统；

17、ai数字人系统内嵌的决策引擎接收并解析观众发送的指令，系统查询与该观众相关的所有过往互动数据，分析观众偏好、习惯性表达方式和情感倾向，利用自然语言生成技术理解对话的背景环境，识别讨论主题、情绪氛围及关键信息点，基于历史和当前数据，概括观众的特征和需求，运用机器学习模型，将当前指令和上下文与预设的情境模板进行匹配，找出最合适的回应策略，对观众进行实时情感分析，根据观众的情绪动态调整回应策略；

18、结合观众的特征和需求、情景匹配结果及情感分析结果，在预先设定的决策树中选择决策路径，根据选定的决策路径，利用自然语言生成技术创造符合用户特性和上下文的文本回复并集成图像生成api丰富内容形式，将生成的内容通过用户界面展示给观众，同时准备接受观众的进一步反馈。

19、作为本发明所述基于ai数字人的直播交互方法的一种优选方案，其中：交互处理中心接收观众的即时反馈是指部署实时视频流处理技术，根据观众在观看直播时发送的表情图标，将其映射为情感标签并开发弹幕抓取模块，实时抓取直播间的弹幕内容，运用自然语言处理技术分析弹幕中的情感倾向和关键词，了解观众即时反馈和讨论热点，将表情识别结果、弹幕分析结果及观看时长的行为数据实时汇总至反馈处理中心。

20、作为本发明所述基于ai数字人的直播交互方法的一种优选方案，其中：应用在线梯度下降法，根据反馈处理中心的数据即时调整用户偏好模型，预测观众偏好，生成个性化直播内容，具体如下：

21、定义θ＝[θc,θi,θe,θp,θu]是包含所有参数的向量，整体的参数更新表达式为：

22、

23、综合更新后的模型调整参数表达式为：

24、θt+1＝θt-δθ

25、其中，θ是模型中所有参数向量，θc内容偏好，θi是互动模式，θe是情感相响应策略，θp是个性化推荐算法参数，θu是用户特性权重，θt+1是在时间点t+1更新后的模型参数，θt是时间点t的模型参数，η是学习率，xt是第t时刻的反馈数据，yt第t时刻的偏好调整，l是损失函数，是参数向量θ的更新量；

26、根据调整后的用户偏好，实时调度直播内容，包括通过脚本自动生成对应话题的介绍语、调用互动游戏api启动新环节、定制化问答题目的生成与推送，利用自然语言生成技术根据情境生成即兴对话，增加直播的互动性和趣味性。

27、第二方面，本发明提供了一种基于ai数字人的直播交互系统，包括，

28、数字人创建模块：利用nerf技术创建ai数字人模型，集成多模态信息，形成具有独特个性的数字人；

29、观众信息收集与转换模块：收集观众的多维度信息，并将其转换成数据格式，上传至交互处理中心；

30、交互处理中心模块：接收观众信息，生成相应的交互指令，并根据观众的即时反馈，预测观众偏好，生成个性化直播内容；

31、ai数字人主播执行模块：接收交互处理中心分配的指令，执行相应的操作，并将执行结果反馈给交互处理中心；

32、直播内容优化模块：根据交互处理中心生成的个性化直播内容，调整直播策略，以提高观众满意度。

33、第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于ai数字人的直播交互方法的任一步骤。

34、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于ai数字人的直播交互方法的任一步骤。

35、本发明有益效果为：通过使用nerf技术创建ai数字人模型，并集成多模态信息，实现了数字人的高度真实感和个性化特征，通过集成观众的多维度信息，并将其转换成数据格式上传至交互处理中心，实现了对观众行为的深度分析和理解，提高了直播的互动性和观众的参与度，通过将交互指令分配给ai数字人主播执行，并接收执行结果反馈，实现了直播内容的动态调整和优化，提升了观众的满意度，通过交互处理中心根据观众的即时反馈预测观众偏好，并生成个性化直播内容，实现了直播内容的实时优化和个性化推荐，使得直播内容能够更加贴近观众的兴趣和喜好。

技术特征：

1.一种基于ai数字人的直播交互方法，其特征在于：包括，

2.如权利要求1所述的基于ai数字人的直播交互方法，其特征在于：通过问卷调查及对社交媒体数据的分析，对ai数字人进行角色定位、外观进行设计及表情和动作库的规划；

3.如权利要求1所述的基于ai数字人的直播交互方法，其特征在于：集成观众多维度信息是指通过直播平台收集用户id、观看时长、点赞数、评论内容、分享次数和进入直播间的实际时间点、退出时间点；

4.如权利要求3所述的基于ai数字人的直播交互方法，其特征在于：上传至交互处理中心并生成相应的交互指令是指通过市场调研和用户访谈，明确目标观众群体的兴趣点、常见互动模式和偏好，基于需求分析，将交互指令分为提问指令、点赞指令、要求换话题指令、情绪反馈指令、个性化推荐指令和互动游戏启动指令，为每类指令设定响应逻辑，当接收到具体指令时，ai数字人应先确认新话题，然后使用适当的过渡语句引入新话题。

5.如权利要求4所述的基于ai数字人的直播交互方法，其特征在于：将交互指令分配给ai数字人主播执行，ai数字人主播将执行结果反馈给交互处理中心是指交互处理中心接收数据后，使用自然语言解析评论并判断互动类型，根据解析结果，依据预定义的指令模板生成具体的交互指令并推送给ai数字人处理系统；

6.如权利要求5所述的基于ai数字人的直播交互方法，其特征在于：交互处理中心接收观众的即时反馈是指部署实时视频流处理技术，根据观众在观看直播时发送的表情图标，将其映射为情感标签并开发弹幕抓取模块，实时抓取直播间的弹幕内容，运用自然语言处理技术分析弹幕中的情感倾向和关键词，了解观众即时反馈和讨论热点，将表情识别结果、弹幕分析结果及观看时长的行为数据实时汇总至反馈处理中心。

7.如权利要求6所述的基于ai数字人的直播交互方法，其特征在于：应用在线梯度下降法，根据反馈处理中心的数据即时调整用户偏好模型，预测观众偏好，生成个性化直播内容，具体如下：

8.一种基于ai数字人的直播交互系统，基于权利要求1～7任一所述的基于ai数字人的直播交互方法，其特征在于：包括，

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的基于ai数字人的直播交互方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的基于ai数字人的直播交互方法的步骤。

技术总结
本发明公开了一种基于AI数字人的直播交互方法以及系统，涉及人工智能技术领域，包括，通过使用Nerf技术创建AI数字人模型，并集成多模态信息，实现了数字人的高度真实感和个性化特征，通过集成观众的多维度信息，并将其转换成数据格式上传至交互处理中心，实现了对观众行为的深度分析和理解，提高了直播的互动性和观众的参与度，通过将交互指令分配给AI数字人主播执行，并接收执行结果反馈，实现了直播内容的动态调整和优化，提升了观众的满意度，通过交互处理中心根据观众的即时反馈预测观众偏好，并生成个性化直播内容，实现了直播内容的实时优化和个性化推荐，使得直播内容能够更加贴近观众的兴趣和喜好。

技术研发人员：杨振
受保护的技术使用者：北京新知元浪网络科技有限公司
技术研发日：
技术公布日：2024/12/5