用于为ML系统启用用户反馈并且总结投入回报的方法和系统与流程
本公开涉及一种用于为机器学习系统启用用户反馈并且总结投入回报的方法和系统。
背景技术：
1、本公开的一般背景是交互式机器学习(ml)，例如，主动学习、解释性学习或视觉交互式标记是一种用于为有监督机器学习模型获取标签的很好的方法。
2、人工智能模型越来越受欢迎，并且在工业应用中的使用越来越频繁。为了存档期望机器学习模型性能，应当不断更新模型，以在更长的时间跨度内维持期望性能。
3、由于工业环境和机器的动态条件不断修改以满足客户要求和业务目标，因此需要不断更新。
4、随着条件的变化，模型的能力和性能可能会降低。为了避免模型性能的降低，需要提供直观的工具和简化的流程(和界面)，以使最终用户能够轻松地向ai模型提供输入。
5、在为ai模型提供和吸收输入的过程中，可能会出现以下挑战，并且这些挑战应当得到解决：缺乏允许用户提供兼容反馈的合适的交互式解释，缺乏对反馈过程中使用的机制及其对经升级的ai模型的影响的理解，针对特定ai模型的不兼容的输入类型或格式使同化和升级变得麻烦，缺乏允许用户陈述有关ml模型的推理的感兴趣方面的工具。
技术实现思路
1、在本发明的一个方面，提供了一种用于为机器学习系统启用用户反馈并且总结投入回报的方法，该方法包括：提供训练数据集和初始机器学习模型；提供初始机器学习模型的结果；从用户接收关于初始机器学习模型的结果的反馈，基于反馈来丰富训练数据集以获取丰富的数据集；基于丰富的数据集来将初始机器学习模型重新训练为经重新训练的机器学习模型。
2、在用于为机器学习系统启用用户反馈并且总结投入回报的方法的一个实施例中，从用户接收关于初始机器学习模型的结果的反馈的步骤基于关于初始机器学习模型的推理的感兴趣区域的查询。
3、在用于为机器学习系统启用用户反馈并且总结投入回报的方法的一个实施例中，从用户接收关于初始机器学习模型的结果的反馈的步骤基于允许用户提供关于感兴趣区域的反馈的交互式解释。
4、在用于为机器学习系统启用用户反馈并且总结投入回报的方法的一个实施例中，从用户接收关于初始机器学习模型的结果的反馈的步骤包括反馈概要视图。
5、在用于为机器学习系统启用用户反馈并且总结投入回报的方法的一个实施例中，从用户接收关于初始机器学习模型的结果的反馈的步骤包括投入回报计算，投入回报计算被配置用于说明关于总体初始机器学习模型性能而获取的收益。
6、在用于为机器学习系统启用用户反馈并且总结投入回报的方法的一个实施例中，该方法还包括将交互式组件集成到解释中的步骤，交互式组件允许用户提供关于感兴趣区域的反馈。
7、在用于为机器学习系统启用用户反馈并且总结投入回报的方法的一个实施例中，该方法还包括基于经重新训练的机器学习模型来为反馈过程计算投入回报的步骤。
8、在用于为机器学习系统启用用户反馈并且总结投入回报的方法的一个实施例中，该方法还包括总结在接收关于初始机器学习模型的结果的反馈的步骤期间使用的机制的步骤。
9、在本发明的一个方面，提供了一种用于为机器学习系统启用用户反馈并且总结投入回报的系统，该系统包括用于执行根据第一方面的方法的处理器。
10、本文中描述的任何公开和实施例都涉及上述方法和系统，反之亦然。有利地，由任何实施例和示例提供的益处同样适用于所有其他实施例和示例，反之亦然。
11、如本文中使用的，“确定”还包括“发起或引起确定”，“生成”还包括“发起或引起生成”，“提供”还包括“发起或引起确定、生成、选择、发送或接收”。“发起或引起执行动作”包括触发计算设备执行相应动作的任何处理信号。
技术特征：
1.一种用于为机器学习系统启用用户反馈并且总结投入回报的方法，所述方法包括：
2.根据权利要求1所述的方法，
3.根据权利要求2所述的方法，
4.根据权利要求1至3中任一项所述的方法，
5.根据权利要求1至4中任一项所述的方法，
6.根据权利要求1至5中任一项所述的方法，
7.根据权利要求1至6中任一项所述的方法，
8.根据权利要求1至7中任一项所述的方法，
9.一种用于为机器学习系统启用用户反馈并且总结投入回报的系统，所述系统包括处理器，所述处理器用于执行根据权利要求1至8所述的方法。
技术总结
一种用于为机器学习系统启用用户反馈并且总结投入回报的方法，该方法包括：提供训练数据集和初始机器学习模型；提供初始机器学习模型的结果；从用户接收关于初始机器学习模型的结果的反馈，基于反馈来丰富训练数据集以获取丰富的数据集；基于丰富的数据集来将初始机器学习模型重新训练为经重新训练的机器学习模型。
技术研发人员：大卫·齐奥布罗,本杰明·克洛珀,马塞洛·迪克斯,贝内迪克特·施密特,阿扎姆·穆扎法尔·科特里瓦拉,满烨懋,迪维亚谢尔·沙玛,加亚特里·戈帕拉克里希南,乔基姆·阿斯托姆
受保护的技术使用者：ABB瑞士股份有限公司
技术研发日：
技术公布日：2024/12/5