用于数据流式聚合的方法和系统、及流式处理节点与流程

1.本技术涉及计算机、及流数据技术领域，具体涉及一种用于数据流式聚合的方法和系统、及流式处理节点。


背景技术：

2.在传统的数据处理流程中，总是先收集数据，然后将数据放到数据库中。当需要时通过数据库对数据做查询。这样看起来虽然非常合理，但是结果却非常的紧凑，尤其是在一些实时搜索应用环境中的某些具体问题。这就引出了一种新的数据计算结构-流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。
3.当前业内普遍采用诸如spark/flink的技术框架来实现流式计算。该方式具备框架特性，所以流传度较广，但是该方式在指标流式聚合时也存在一些问题，例如，按照时间窗口聚合指标时，待聚合的流式数据需要根据task进行集群内部二次分配，该操作会占用大量的网络io，同时大量占用cpu和内存，所以框架集群对主机的配置要求较高，运行成本很高。


技术实现要素：

4.本技术实施例的目的是提供一种用于数据流式聚合的方法和系统、及流式处理节点，以解决当前流式计算的缺陷。
5.为了实现上述目的，本技术提供一种用于数据流式聚合的方法，该用于数据流式聚合的方法包括：获取待聚合的流式数据，并将该待聚合的流式数据抽象化为所需要的元数据；在时间窗口开启时，对所述元数据的数据属性进行整合；以及在所述时间窗口关闭时，将所整合的元数据提交到redis高速缓冲。
6.可选的，所述将该待聚合的流式数据抽象化为所需要的元数据包括：针对所述待聚合的流式数据的类型，提取数据指标；根据所提取的数据指标，抽象出所述元数据的数据属性；根据所述数据属性，生成所述元数据。
7.可选的，在所述在时间窗口开启时，对所述元数据进行整合之前，所述用于数据流式聚合的方法还包括：根据流式任务event发生时的时间event time，确定时间窗口区间，所述时间窗口区间为所述时间窗口开启至所述时间窗口关闭之间的时间。
8.可选的，所述在时间窗口开启时，对所述元数据的数据属性进行整合包括：若所述元数据为所述时间窗口区间的第一笔数据，在所述redis高速缓冲进行节点注册；以及打开窗口计时器，并对所述元数据的数据属性进行对应累加。
9.可选的，对所述元数据的数据属性进行整合还包括：若所述时间窗口区间到期，根据所述event到达流式处理器的时间arrive time，判定窗口数据是否全部达到；若未全部到达，控制所述窗口计时器自动延期。
10.可选的，所述用于数据流式聚合的方法还包括：校验节点提交值commit key与节
点注册值regist key是否相等，其中，所述commit key为所整合的元数据提交到所述redis数据库而生成的，所述regist key为在所述redis高速缓冲进行节点注册生成的；若相等，获取所述redis高速缓冲的全部元数据；对所述全部元数据进行合并，生成最终元数据；以及针对所述数据指标，对所述最终元数据进行聚合计算，得到输出结果。
11.本发明实施例还提供一种流式处理节点，该述流式处理节点包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以实现根据上述任意一项所述的用于数据流式聚合的方法。
12.本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令使得机器执行根据上述任意一项所述的用于数据流式聚合的方法。
13.本法实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任意一项所述的用于数据流式聚合的方法。
14.本发明实施例还提供一种用于数据流式聚合的系统，该用于数据流式聚合的系统包括流式处理集群和redis高速缓冲，其中所述流式处理集群包括一个或多个上述的流式处理节点。可选的，所述一个或多个流式处理节点被分为：流式处理中间节点和流式处理终节点。
15.通过上述技术方案，本发明实施例通过元数据的抽象化处理，以及通过每个节点独立计算元数据的方式，解决了集群需要大量网络io开销的问题，极大的缩小了流式聚合系统对计算资源的要求，降低了运行成本。
16.本技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
17.附图是用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本技术实施例，但并不构成对本技术实施例的限制。在附图中：
18.图1是本发明实施例提供的用于数据流式聚合的方法流程示意图；
19.图2是本发明实施例提供的用于数据流式聚合的系统结构示意图；
20.图3本发明实施例提供的示例流程示意图。
21.附图标记说明
22.10 流式处理集群
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
11 流式处理节点
23.21 redis高速缓冲
具体实施方式
24.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本技术实施例，并不用于限制本技术实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.需要说明，若本技术实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、
运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
26.另外，若本技术实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
27.在详细解释本发明实施例之前，先对现有技术缺陷进行总结，以常见的应用监控系统举例，主要集中在如下几个方面：
28.1)按照时间窗口聚合指标时，待聚合的流式数据需要根据task进行集群内部二次分配，该操作会占用大量的网络io，同时大量占用cpu和内存，所以框架集群对主机的配置要求较高，运行成本很高；
29.2)由于多了一次网络传输(实际上是：用户态-》内核态-》网卡-》内核态-》用户态共4次拷贝)，时间成本会明显上升；
30.3)由于在框架集群中，分配task时，会基于如hash的计算分配，所以集群中的节点，不能自由的在运行态进行有计划的增减；
31.4)watermark不够灵活，只能按照某一种时间属性进行判定和聚合，不能进行复合操作；
32.5)集群框架对主机时钟有严格的要求，不能时差过大，否则会造成数据错误；
33.6)技术栈的限制。由于大多数框架，主要基于java技术栈，对于其它语言技术栈不够友好，且java本身的资源消耗在静态时就明显偏高，所以不适合在轻量化的场景中应用。
34.图1是本发明实施例提供的用于数据流式聚合的方法流程示意图。应该理解的是，图1的流程图中的各个步骤并不是必然按照指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
35.请参考图1，该用于数据流式聚合的方法可以包括以下步骤：
36.步骤s110：获取待聚合的流式数据，并将该待聚合的流式数据抽象化为所需要的元数据。
37.流式聚合可以理解为，通过对数据流的实时处理，无需等待所有数据全部获取后，即可对数据进行聚合操作，计算并获取多种数据指标。
38.优选的，步骤s110可以包括：针对所述待聚合的流式数据的类型，提取数据指标；根据所提取的数据指标，抽象出所述元数据的数据属性；根据所述数据属性，生成所述元数据。
39.以示例说明，例如在应用监控中，针对待聚合的流式数据的数据类型，例如，需要聚合计算交易量、系统成功率、业务成功率、平均响应时间、平均处理时间、长交易率、apdex，7个数据指标。针对这7个数据指标，抽象的数据属性可以包括：交易量、长交易量、满
意的交易量、可忍受的交易量、系统失败的数量、业务失败的数量、总响应耗时、总处理耗时，组成元数据的数据属性。其中，针对某些数据指标，可能不需要元数据的某个或某些数据属性，在元数据整合时，可以针对该数据属性补零、或补平均数等，具体情况可以根据实际的应用场景和待聚合的流式数据而定，本发明实施例对此不做限定。
40.步骤s120：在时间窗口开启时，对所述元数据的数据属性进行整合。
41.在步骤s120之前，所述用于数据流式聚合的方法还可以包括：根据流式任务event发生时的时间event time确定时间窗口区间，所述时间窗口区间为所述时间窗口开启至所述时间窗口关闭之间的时间。
42.其中，流式任务event，可以理解为待处理的单笔数据，event可以包括多个属性字段，其中包括一个或多个时间属性，例如，发生时的时间event time。
43.本发明实施例在数据流式处理时，一个时间窗口区间内，在单个计算节点上，有且仅有一笔元数据，待聚合的流式数据(原始event数据)都是对该笔元数据的累加。
44.步骤s120可以包括：所述在时间窗口开启时，对所述元数据进行整合可以包括：若所述元数据为所述时间窗口区间的第一笔数据，在所述redis高速缓冲进行节点注册；以及打开窗口计时器，并对所述元数据的数据属性进行对应累加。
45.针对前述问题1)-3)，大数据流式处理框架(例如，spark/flink的技术框架)遇到的数据大量二次分配和网络io消耗问题，本发明实施例使用第三方进行数据汇总，例如在应用监控项目中，本发明实施例优选可以使用redis数据库的hash类型作为这个第三方redis高速缓存。redis支持原子操作和多种数据类型。
46.以示例说明，在单个节点时间窗口开启时，需要在redis高速缓存进行该笔时间窗口运行节点的注册(获得节点注册值regist key)，可以通过redis incr命令进行操作，redis incr命令是对单个key的原子累加。注册完成后，每个节点对收到的元数据，进行节点内的元数据累加计算(针对每个元数据的数据属性进行对应的累加)，不再对外进行通讯。
47.承接上述应用监控示例，对元数据的数据属性进行整合可以如表1所示：
[0048][0049][0050]
表1
[0051]
优选的，所述步骤s120还包括：若所述时间窗口区间到期，根据所述event到达流式处理器的时间arrive time判定窗口数据是否全部达到；若未全部到达，控制所述窗口计时器自动延期。
[0052]
其中，所述arrive time也为所述event的时间属性。
[0053]
针对上述问题4)，本发明实施例优选使用两种event时间属性计算watermark，使用event time计算时间窗口所属的数据分片，使用arrive time判定event数据的延迟情况，以确定数据窗口是否可以触发提交。据此，可以让聚合的数据更精确，不会由于意外阻塞导致聚合数据发生变化，同时还可以准确判断数据是否延迟，不受主机时钟的影响，集群内节点的主机时钟时差，没有强制要求。
[0054]
步骤s130：在所述时间窗口关闭时，将所整合的元数据提交到redis高速缓冲。
[0055]
其中，可以通过commit命令将所整合的元数据提交到redis数据库(redis高速缓冲)。commit命令用于把事务所做的修改保存到数据库，把上一个commit或rollback命令之后的全部事务都保存到数据库。
[0056]
以示例说明，当节点内的该笔时间窗口结束时，节点提交元数据到redis高速缓冲进行缓存，并进行该节点的commit操作，可以通过redis incr命令对节点提交值commit key进行操作。
[0057]
优选的，所述用于数据流式聚合的方法还包括：校验节点提交值commit key与节点注册值regist key是否相等，其中，所述commit key为所整合的元数据提交到所述redis数据库而生成的，所述regist key为在所述redis高速缓冲进行节点注册生成的；若相等，获取所述redis高速缓冲的全部元数据；对所述全部元数据进行合并，生成最终元数据；以
及针对所述数据指标，对所述最终元数据进行聚合计算，得到输出结果。
[0058]
承接上述示例，在commit完成后，每个节点都会校验当前commit key的值，是否等于regist key的值，如果不相等，则该节点会“意识到”自己不是最终节点，只做数据缓存。如果相等，则该节点判定自己为最终的执行节点，该节点会将所有节点存储的缓存数据，一次性全部拿回，并对数据做合并，生成最终的元数据，再针对待计算的数据指标(例如，前文的7个指标)，使用元数据进行计算，并输出结果后落库。
[0059]
承接上述应用监控示例，针对待数据指标，得到输出结果可以如表2所示：
[0060]
数据指标数据指标的计算式交易量全部元数据的交易量系统成功率(交易量-系统失败的数量)*100/交易量业务成功率(交易量-业务失败的数量)*100/交易量平均响应时间总响应耗时/交易量平均处理时间总处理耗时/交易量长交易率长交易量*100/交易量apdex(满意的交易量+可忍受的交易量/2)/交易量
[0061]
表2
[0062]
据此，本发明实施例通过元数据的抽象化处理，以及通过每个节点独立计算元数据的方式，解决了集群需要大量网络io开销的问题，极大的缩小了流式聚合系统对计算资源的要求，降低了运行成本。
[0063]
本发明实施例还提供一种流式处理节点，该流式处理节点包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以实现根据步骤s110-s130所述的用于数据流式聚合的方法。
[0064]
本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令使得机器执行根据步骤s110-s130所述的用于数据流式聚合的方法。
[0065]
本法实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据步骤s110-s130所述所述的用于数据流式聚合的方法。
[0066]
图2是本发明实施例提供的用于数据流式聚合的系统结构示意图，本领域技术人员可以理解，图2中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0067]
请参考图2，该用于数据流式聚合的系统包括流式处理集群10和redis高速缓冲21，其中所述流式处理集群10包括一个或多个上述的流式处理节点11。
[0068]
针对上述问题5)，由于本发明实施例流式处理集群10的集群节点，是针对每个窗口期进行独立的注册和提交操作，没有特定的任务task节点，只有在提交后，才会确定最终的执行节点，所以集群可以在运行态时，任意的增减节点，对资源实现灵活运用，且数据安全得到了更高的保障。
[0069]
针对上述问题6)，本发明实施例的计算集群思想，不需要使用特定的框架，可以解除对特定语言技术栈的限制，不再局限于java技术栈。优选的，所述一个或多个流式处理节点11被分为：流式处理中间节点和流式处理终节点。
[0070]
图3本发明实施例提供的示例流程示意图，请参考图2和图3，以一个示例解释本发明实施例提供的用于数据流式聚合的系统的流程，可以包括以下步骤：
[0071]
步骤s10，流式处理节点11获取待聚合的流式数据。
[0072]
步骤s11，将该待聚合的流式数据，抽象为元数据。抽象的过程请参考前文，此处不再赘述。
[0073]
步骤s12，判断所抽象的元数据是否有异常。
[0074]
步骤s13，若元数据存在异常，丢弃该元数据。
[0075]
步骤s14，若元数据正常，依照event time确定时间窗口区间。
[0076]
步骤s15，判断元数据是否为该时间窗口区间的第一笔数据。
[0077]
步骤s16/步骤s17，若是，提交redis注册；打开窗口计时器。
[0078]
步骤s18，若不是，进行元数据累加。
[0079]
步骤s19，若窗口计时器到期，执行步骤s20。
[0080]
步骤s20，按照arrive time判定窗口数据是否全部到达。
[0081]
步骤s21，若未全部到达，窗口计时器可以自动延期，并执行步骤s19。
[0082]
步骤s22，若全部达到，提交redis高速缓存。
[0083]
步骤s23，判定当前的流式处理节点11是否为流式处理终节点。
[0084]
步骤s24，若不是流式处理终节点，当前窗口流程结束。
[0085]
步骤s25，若是流式处理终节点，对数据做合并，生成最终的元数据。
[0086]
步骤s26，针对待计算的数据指标，使用元数据进行计算，并输出结果后落库。
[0087]
据此，本发明实施例通过元数据的抽象化处理，以及通过每个节点独立计算元数据的方式，至少可以实现的技术效果包括：1)解决了集群需要大量网络io开销的问题，极大的缩小了流式聚合系统对计算资源的要求，降低了运行成本；2)去除了流式聚合集群对主机时钟的要求，减少了生产运行时故障的发生率；3)集群节点可在运行态自由增减，减少了生产运维的压力，也无需进行事后补数的操作，生产运行更稳定；4)技术栈更灵活，开发时可以更自由的进行技术栈选型。
[0088]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0089]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0090]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0091]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0092]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0093]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0094]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0095]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0096]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种用于数据流式聚合的方法，其特征在于，所述用于数据流式聚合的方法包括：获取待聚合的流式数据，并将该待聚合的流式数据抽象化为所需要的元数据；在时间窗口开启时，对所述元数据的数据属性进行整合；以及在所述时间窗口关闭时，将所整合的元数据提交到redis高速缓冲。2.根据权利要求1所述的用于数据流式聚合的方法，其特征在于，所述将该待聚合的流式数据抽象化为所需要的元数据包括：针对所述待聚合的流式数据的类型，提取数据指标；根据所提取的数据指标，抽象出所述元数据的数据属性；根据所述数据属性，生成所述元数据。3.根据权利要求1所述的用于数据流式聚合的方法，其特征在于，在所述在时间窗口开启时，对所述元数据进行整合之前，所述用于数据流式聚合的方法还包括：根据流式任务event发生时的时间event time，确定时间窗口区间，所述时间窗口区间为所述时间窗口开启至所述时间窗口关闭之间的时间。4.根据权利要求3所述的用于数据流式聚合的方法，其特征在于，所述在时间窗口开启时，对所述元数据的数据属性进行整合包括：若所述元数据为所述时间窗口区间的第一笔数据，在所述redis高速缓冲进行节点注册；以及打开窗口计时器，并对所述元数据的数据属性进行对应累加。5.根据权利要求4所述的用于数据流式聚合的方法，其特征在于，所述在时间窗口开启时，对所述元数据的数据属性进行整合还包括：若所述时间窗口区间到期，根据所述event到达流式处理器的时间arrive time，判定窗口数据是否全部达到；若未全部到达，控制所述窗口计时器自动延期。6.根据权利要求4所述的用于数据流式聚合的方法，其特征在于，所述用于数据流式聚合的方法还包括：校验节点提交值commit key与节点注册值regist key是否相等，其中，所述commit key为所整合的元数据提交到所述redis数据库而生成的，所述regist key为在所述redis高速缓冲进行节点注册生成的；若相等，获取所述redis高速缓冲的全部元数据；对所述全部元数据进行合并，生成最终元数据；以及针对所述数据指标，对所述最终元数据进行聚合计算，得到输出结果。7.一种流式处理节点，其特征在于，所述流式处理节点包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以实现根据权利要求1至6中任意一项所述的用于数据流式聚合的方法。8.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令使得机器执行根据权利要求1至6中任意一项所述的用于数据流式聚合的方法。9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现根据权利要求1至6中任意一项所述的用于数据流式聚合的方法。10.一种用于数据流式聚合的系统，其特征在于，所述用于数据流式聚合的系统包括流
式处理集群和redis高速缓冲，其中所述流式处理集群包括一个或多个权利要求7所述的流式处理节点。11.根据权利要求10所述的用于数据流式聚合的系统，其特征在于，所述一个或多个流式处理节点被分为：流式处理中间节点和流式处理终节点。

技术总结
本申请实施例提供一种用于数据流式聚合的方法和系统、及流式处理节点。所述用于数据流式聚合的方法包括：获取待聚合的流式数据，并将该待聚合的流式数据抽象化为所需要的元数据；在时间窗口开启时，对所述元数据的数据属性进行整合；以及在所述时间窗口关闭时，将所整合的元数据提交到Redis高速缓冲。本发明实施例通过元数据的抽象化处理，以及通过每个节点独立计算元数据的方式，解决了集群需要大量网络IO开销的问题，极大的缩小了流式聚合系统对计算资源的要求，降低了运行成本。降低了运行成本。降低了运行成本。


技术研发人员：周杰
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：2021.12.10
技术公布日：2022/3/8