一种基于区块链和大数据平台的实时结算和监管方法与流程

1.本发明属于区块链数字资产交易、大数据以及监管科技技术领域，特别涉及区块链系统上的交易和大数据平台上交互，完成结算以及监管流程所需要的基于区块链和大数据平台的实时结算和监管方法。


背景技术：

2.传统区块链系统规避监管，而超级账本也没有考虑监管机制。但是区块链系统必须考虑监管，根据各国法律规定，以后没有监管或者无法监管的区块链系统不能被使用。但是传统金融系统内容监管机制是附属于传统金融系统，使用大数据、人工智能合约等科技，在金融系统后台执行。许多时候，白天市场交易，晚上后台系统从事监管检验，也就是说许多监管机制不是实时进行的。可是基于区块链的数字货币和数字金融是365/7/24交易，而且需要有实时监管，就是在交易时间，就必须执行监管检验，因此新型区块链系统都在协议层上嵌入式从事监管。这也代表区块链的工作方式改变了，以前只要可以交易，就是区块链，现在还需要进行监管才能完成交易。这样的需求明确出现并记载在2020年脸书数字稳定币第2版白皮书上，脸书宣布需要服从“旅行规则”（travel rule），而且在区块链协议层中嵌入式监管机制，从而确认实时监管机制是必须的，也是新型数字经济必须有的基础设施。而且，在区块链协议层做嵌入式监管需要在很短的时间完成监管检验，同时间监管检验需要处理大量数据。嵌入式监管机制改变区块链架构和作业，包括交易流程改变、数据结构改变、以及和大数据平台的超融合。区块链平台和大数据平台需要在每一笔交易上都无缝同步搭配才能完成。但是由于大数据平台需要从事大量数据分析，大数据平台需要一面从事交易检验，一面还需要实时整理数据预备继续来临的交易。现在技术已经有一些区块链系统和大数据平台交互的设计出现，但是大部分是两个平台独立作业，彼此交换信息，合作完成任务，因此需要设新的区块链架构以适应这种需求。
3.可是基于区块链的数字货币和数字金融是365/7/24交易，而且需要有实时监管，就是在交易时间，就必须执行监管检验，因此新型区块链系统都在协议层上嵌入式从事监管。这也代表区块链的工作方式改变了，以前只要可以交易，就是区块链，现在还需要进行监管才能完成交易。这样的需求明确出现并记载在2020年脸书数字稳定币第2版白皮书上，脸书宣布需要服从“旅行规则”（travel rule），而且在区块链协议层中嵌入式监管机制，从而确认实时监管机制是必须的，也是新型数字经济必须有的基础设施。而且，在区块链协议层做嵌入式监管需要在很短的时间完成监管检验，同时间监管检验需要处理大量数据。嵌入式监管机制改变区块链架构和作业，包括交易流程改变、数据结构改变、以及和大数据平台的超融合。区块链平台和大数据平台需要在每一笔交易上都无缝同步搭配才能完成。但是由于大数据平台需要从事大量数据分析，大数据平台需要一面从事交易检验，一面还需要实时整理数据预备继续来临的交易。
4.现在技术已经有一些区块链系统和大数据平台交互的设计出现，但是大部分是两个平台独立作业，彼此交换信息，合作完成任务，因此需要设新的区块链架构以适应这种需求。


技术实现要素：

5.本发明为了解决现有技术存在的一项或多项技术问题，创造性的提供一种新架构，连接传统区块链平台和大数据平台，在交易流程中以最快的速度完成结算和监管，连接可以在一个机群内完成，内部使用高速网络，连接大数据平台，服务器以及其他设备，这两个平台不能只是连接，两个平台的运行会互相影响：区块链作业会因为大数据平台监管结果决定是否可以进行交易；而大数据平台必须365/7/24接受区块链来的数据，更新平台中的数据，然后从上监管计算，并且在最短的时间内传给区块链系统监管决策。因此，这两个系统的运行方式都发生了改变。由于互相影响，这样两个紧密交互的系统，事实上成为一个融合的一体机系统，而不是两个独立系统，区块链的运行需要大数据平台的参与才能完成，并且这两个系统均为实时运行，而不是线下运行。同时，该系统架构下，大数据平台有足够的计算和存储服务器可以支持实时大数据分析。
6.本发明的目的在于提供一种基于区块链和大数据平台的实时结算和监管方法，包括：交易实时结算流程以及交易实时监管流程；所述基于区块链和大数据平台的实时结算和监管方法由基于区块链和大数据平台的实时结算和监管系统实现，所述系统包括：区块链系统，用于执行数字资产交易，以及将交易信息实时报告给大数据平台，所述区块链系统执行交易采取相同或不同的交易流程，所述交易的所有信息都存在所述区块链系统中的同时报告给所述大数据平台，所述区块链系统包括多个节点，每个节点维持链条，所述链条上具有区块，所述区块通过哈希算法保证不会被篡改；大数据平台，所述大数据平台用于将区块链系统报告的所述交易的信息存在数据表或数据图中，从而便于查询并从事监管活动，所述数据表或数据图动态生成而且动态更新；所述大数据平台还用于动态调整并维持数据索引；所述大数据平台位于至少一个区块链系统的节点上，所述节点为超级节点，所述大数据平台和一个或多个监管单位连接，所述大数据平台收集数据，验证所述数据后，对所述进行分析，获得当时交易情形作为监管决策的依据；或者所述大数据平台接收从其他可靠单位获得的相关监管信息；或者所述大数据平台自身收集和分析信息；所述大数据平台根据黑名单以及其他评级数据，包括自己收集和分析的数据，对当时正在做交易快速评估是否通过这笔交易；所述大数据完成评估后，立刻将评估决定实时发送到所述区块链系统；所述区块链系统根据监管报告，确定完成这笔交易或是拒绝这笔交易；不论交易是否批准可以完成或是被拒，区块链系统立刻将相关信息放进区块中，共识后上链；如果最后决定是拒绝这笔交易，相关单位或是个人如果参与洗钱活动，大数据平台，或是区块链系统，或是两个系统都自动报告该信息给所述监管单位；存储系统，使用块中块机制存储或者传统存储机制存储交易信息以及监管信息；以及网络系统，所述网络系统为高速网络系统，用于连接所述区块链系统、大数据平台以及存储系统；所述方法包括：所述大数据平台收集数据，验证所述数据后，对所述进行分析，获
得当时交易情形作为监管决策的依据；或者所述大数据平台接收从其他可靠单位获得的相关监管信息；或者所述大数据平台自身收集和分析信息；所述大数据平台根据黑名单以及其他评级数据，包括自己收集和分析的数据，对当时正在做交易快速评估是否通过这笔交易；所述大数据完成评估后，立刻将评估决定实时发送到所述区块链系统；所述区块链系统根据监管报告，确定完成这笔交易或是拒绝这笔交易；不论交易是否批准可以完成或是被拒，区块链系统立刻将相关信息放进区块中，共识后上链；如果最后决定是拒绝这笔交易，相关单位或是个人如果参与洗钱活动，大数据平台，或是区块链系统，或是两个系统都自动报告所述参与洗钱活动的信息给所述监管单位；从而实现交易实时结算以及交易实时监管。
7.优选的，所述实时结算和监管方法采用交易和结算分开的机制，包括：（1）一笔所述交易到达区块链系统进行第一次上链，查明所有交易方的信息后，确定资金以及资产都是确实的，就进行如下排队上链交易；（2）排队上链交易，交易和共识机制是分离，而且交易和结算机制是分离的；（3）共识后，这笔所述交易等待完成：如果交易和共识分离，所述交易需要等待区块链系统交易完成；如果所述区块链系统中共识和交易绑定，共识后就算交易完成；（4）所述交易完成后，将完成的交易信息第二次上链；如果交易没有成功或是交易被系统拒绝，这笔交易也上链，表示交易失败；（5）经过反洗钱等处理后，交易在适合的账户系统上结算成功，将这笔交易信息包括结算完成时间第3次上链。
8.优选的，所述实时结算和监管方法采用交易即是结算的机制，包括：（1）在共识前，大数据平台先从事监管检验，通过检验，才能参与共识，区块链系统将该交易的信息发送给大数据平台，大数据平台评估是否批准这笔交易；（2）大数据平台评估后，传送决定信息给区块链系统；（3）收到大数据平台监管批准通知后，将所述监管批准通知上链，这是第二次上链；如果大数据平台返回拒绝通知，将所述拒绝通知也进行上链；区块链系统通知相关的单位和客户交易失败的信息；（4）如果大数据平台批准，这笔交易进入共识机制；如果交易和共识分离，这笔交易需要等待区块链系统交易完成；如果所述区块链系统共识和交易绑定，共识后认为交易完成；不论是共识即是交易，或是共识和交易分开，等交易完成后，将完成的交易信息第三次上链；如果因为异常，这笔交易失败，失败的信息也上链，这也是第三次上链，并通知相关的单位和客户。
9.优选的，所述交易实时结算流程中交易有两次数据上链过程，交易数据在第一次上链过程中将会在大数据平台进行实时处理，生成其账户的结算数据。
10.优选的，所述账户的结算数据包括账户关联交易信息，所述账户关联交易信息的数据结构为一个侧链结构，所有的账户组成一个账户链，每一个账户都有一个侧链，侧链存储的是与该账户相关的所有交易。
11.优选的，所述交易实时结算流程采用mapreduce并行算法，适用于账户重叠即一个账户参与了多笔交易情况较多的情况，包括：（1）生成账户交易数据，包括：
（11）进行账户词频分析，统计出所有账户信息；（12）并行处理所有交易，将每一个交易连接到交易相关方（交易发起方，交易接收方）的账户链下；（13）统计账户结算信息：其中若账户是某一交易的交易发起方，则将账户金额减去对应的交易金额，若某一账户是某一交易的交易接收方，则将账户金额增加对应的交易金额；（2）循环并行计算侧表数据进行交易结算，包括：（21）并行统计每一账户侧表的转出金额的最小值，即计算每一个账户侧表的交易数据中交易发起方为该账户的转账金额中的单笔交易最小值，设为（s1，s2，...si）,其中i为账户数量，si为该账户在该时间段交易内的转出金额的单笔交易最小值；（22）设每个账户的账户余额为（a1，a2，...ai）,若ai》si，则把该账户侧表的交易数据中的对应该单笔最小值的转出交易标记为成功并更新ai = ai-si；若ai《si，则该账户侧表的交易数据暂时不变，ai也不变；（23）由于账户的每一个转出交易必然都有一个转入账户，所以每一个交易在账户侧表中都有两份数据，即每一个交易会在一个转出方账户侧表上，同时也在转入账户侧表上，将第二步中标记成功的交易使其在转入账户侧表上的相同交易数据同时标记为成功，更新账户余额表，将转入金额加在相应转入账户余额上；（24）重新执行步骤21，重新计算每一个账户未标记为成功的交易的单笔交易最小值为（s1，s2，...si），账户余额为（a1，a2，...ai），若存在ai》si的账户则转入步骤22继续计算，若不存在ai》si的账户即所有的账户则转入步骤24；（25）遍历账户侧表，把所有未标记为成功的交易标记为失败，此时处理完成，将交易结果反馈给下层区块链。
12.优选的，所述交易实时结算流程未采用mapreduce并行算法，适用于账户重叠，即一个账户参与了多笔交易情况较少的情况，包括：（1）将所有的交易数据进行分类，分类一为没有账户重叠情况的交易，分类二为有账户重叠情况的交易，分类方法采用哈希方法，即设置一个所有帐户的哈希表，遍历所有交易，在交易涉及的账户上进行标记，有多个标记的账户参与了多个交易，归类为分类一，仅有一次标记的账户只参与了一次交易，归类为分类二；（2）将所述分类一的交易进行并行实时结算，当交易发起方余额大于转账金额时，则交易成功，当交易发起方余额不足时，交易失败；（3）将分类二的交易所有的交易先进行转入操作，转入成功后如果金额大于转账金额时则交易成功，当交易发起方余额不足时，交易失败。
13.优选的，如果所述交易数据在进入时，已经处理过lsm，所述步骤（1）步可以省掉，由于lsm算法可以发现重叠交易的账户，而且还预处理这些重叠账户的相关交易，这样大数据平台只要查找相关账户是不是有足够的余额可以支付，就可以完成。
14.优选的，所述交易实时监管流程中通过交易实时结算算法得出的账户交易链可以得出具体的资金路径，包括：（1）根据交易实时结算算法得出的交易结算数据计算得出具体账户在某一统计时间段的结算信息，其中账户结算信息为正值的必然最终有资金汇入，账户结算信息为负值
的必然有资金汇出，资金则是由负值账户最终经过各种渠道汇入正值账户；（2）统计所有账户结算信息为负值的账户，对其相关的所有交易执行交易链条生成操作；（3）统计出所有的资金交易路径后，对于所有的账户（a1, a2, ..., ai），其中i为账户数量，维持一个洗钱概率表（p1, p2, ...pi），设置初始洗钱概率为0，对于在洗钱黑名单里的账户，按照黑名单中的洗钱概率更新其洗钱概率表，其中所述洗钱概率为洗钱金额占总交易金额的比例；（4）遍历交易路径，对于与洗钱机构在同一交易路径上的所有账户更新其洗钱概率；（5）对于新上链的交易实时更新其交易账户的洗钱概率，并设置交易白名单，所述白名单中为洗钱概率为0或少于洗钱概率阈值的账户信息，洗钱概率的阈值可以人为设定；（6）将交易数据上链分两次，第一次上链时，若交易账户在白名单中，且交易金额s《a时，则交易直接通过，其中a为小额交易的阈值；第二次上链时，查看账户洗钱概率，若洗钱概率pi》p，则判定交易失败，其中p为控制洗钱概率的阈值；所述步骤（6）的所述将交易数据上链分两次包括：在交易数据第一次上链时要执行以下操作：第一步简单测试，若交易账户在洗钱白名单中，且交易金额符合小额交易的标准，则交易可以直接通过，若交易账户洗钱概率大于设定值则交易直接失败，若交易金额较大且账户存在洗钱概率但没有高于设定值时，则进行第二次上链，第一次上链的交易数据更新交易账户链数据，并更新洗钱白名单数据以及账户洗钱概率表；所述交易数据第二次上链时则进行反洗钱查询，并进行深入的背景调查，如账户不在反洗钱交易链上，则交易成功，如账户在反洗钱交易链，则交易失败。
15.优选的，所述交易链条生成操作包括：a. 将所有交易信息按照时间戳顺序进行排序获得简化的交易信息，所述简化的交易信息包括时间戳、交易发起方、交易接收方以及交易金额；b. 将每一个交易数据视为一个数据块，从最开始的数据块开始循环遍历每一块数据，当交易块a的接收方等于交易块b的交易发起方时，将两个交易块链接；c. 取每一个交易链条中的数据块的交易金额最小值s，用该链条的每一块交易数据的交易金额减去该最小值，得到(a1, a2, ...ai),其中i为该链条的交易块数，当ai=0时，删除数据列表中的该数据块，得出资金链条信息，然后转移到步骤b重新遍历；d. 当数据块之间再无联系时，则每一个小的数据块都为一个独立的交易链条。
16.本发明的有益效果：区块链系统上的交易和大数据平台上交互，完成交易以及监管流程，确保区块链系统上交易的安全性和可被监管性。
17.根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
18.附图说明
19.后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。
附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。本发明的目标及特征考虑到如下结合附图的描述将更加明显，附图中：图1为根据本发明的优选实施例的区块链系统和大数据平台融合成为一个可监管的数字资产交易系统原理结构图；图2为根据本发明的优选实施例的交易和结算分离的交易上链流程图；图3为根据本发明的优选实施例的“交易即是结算”的交易上链流程图；图4为根据本发明的优选实施例的交易实时结算流程中第一步数据结构示意图；图5为根据本发明优选实施例的交易实时结算流程中循环并行计算侧表数据进行交易结算流程图；图6为根据本发明优选实施例的交易实时结算流程中新账户信息或是新交易信息示意图；图7为根据本发明优选实施例的交易实时监管流程中通过交易实时结算算法得出的账户交易链可以得出具体的资金路径示意图；图8为根据本发明优选实施例的交易实时监管流程中交易数据链接示意图；图9为根据本发明优选实施例的交易实时监管流程中交易路径生成流程图；图10为根据本发明优选实施例的交易路径示意图；图11为根据本发明优选实施例的交易实时监管流程中洗钱概率表更新示意图；图12为根据本发明优选实施例的交易实时监管流程中概率表更新流程图。
具体实施方式
20.为了使得本发明能够针对其发明要点更加明显易懂，下面将结合附图和实例对本发明作进一步的说明。在下面的描述中阐述了很多细节和具体实例，提供这些实例是为了能够更透彻地理解本发明，并且能够将本发明完整形象地传达给本领域的技术人员。虽然本发明能够以很多不同于此描述的其它方式实施，但是本领域技术人员可以在不违背本发明内涵的情况下做相应的推广，因此本发明不受下面公开的具体实例及具体附图所限制。
21.在下面的描述中阐述了很多细节和具体实例，提供这些实例是为了能够更透彻地理解本发明，并且能够将本发明完整形象地传达给本领域的技术人员。虽然本发明能够以很多不同于此描述的其它方式实施，但是本领域技术人员可以在不违背本发明内涵的情况下做相应的推广，因此本发明不受下面公开的具体实例及具体附图所限制。
22.如图1所示，本实施例提供一种基于区块链和大数据平台的实时结算和监管系统，包括：区块链系统，用于执行数字资产交易，以及将交易信息实时报告给大数据平台，区块链系统执行交易采取相同或不同的交易流程，交易的所有信息都存在区块链系统中的同时报告给大数据平台，区块链系统包括多个节点，每个节点维持链条，链条上具有区块，区块通过哈希算法保证不会被篡改；大数据平台，大数据平台用于将区块链系统报告的交易的信息存在数据表或数据图中，从而便于查询并从事监管活动，数据表或数据图动态生成而且动态更新；大数据平台还用于动态调整并维持数据索引；大数据平台位于至少一个区块链系统的节点上，节点为
超级节点，大数据平台和一个或多个监管单位连接，大数据平台收集数据，验证数据后，对进行分析，获得当时交易情形作为监管决策的依据；或者大数据平台接收从其他可靠单位获得的相关监管信息；或者大数据平台自身收集和分析信息；大数据平台根据黑名单以及其他评级数据，包括自己收集和分析的数据，对当时正在做交易快速评估是否通过这笔交易；大数据完成评估后，立刻将评估决定实时发送到区块链系统；区块链系统根据监管报告，确定完成这笔交易或是拒绝这笔交易；不论交易是否批准可以完成或是被拒，区块链系统立刻将相关信息放进区块中，共识后上链；如果最后决定是拒绝这笔交易，相关单位或是个人如果参与洗钱活动，大数据平台，或是区块链系统，或是两个系统都自动报告该信息给监管单位；存储系统，使用块中块机制存储或者传统存储机制存储交易信息以及监管信息；以及网络系统，网络系统为高速网络系统，用于连接区块链系统、大数据平台以及存储系统。
23.本实施例还提供一种基于区块链和大数据平台的实时结算和监管方法，包括：交易实时结算流程以及交易实时监管流程，大数据平台收集数据，验证数据后，对进行分析，获得当时交易情形作为监管决策的依据；或者大数据平台接收从其他可靠单位获得的相关监管信息；或者大数据平台自身收集和分析信息；大数据平台根据黑名单以及其他评级数据，包括自己收集和分析的数据，对当时正在做交易快速评估是否通过这笔交易；大数据完成评估后，立刻将评估决定实时发送到区块链系统；区块链系统根据监管报告，确定完成这笔交易或是拒绝这笔交易；不论交易是否批准可以完成或是被拒，区块链系统立刻将相关信息放进区块中，共识后上链；如果最后决定是拒绝这笔交易，相关单位或是个人如果参与洗钱活动，大数据平台，或是区块链系统，或是两个系统都自动报告参与洗钱活动的信息给监管单位。
24.其中，实时结算和监管方法采用如图2所示的联盟链方式以及交易和结算分开的机制，包括：（1）一笔交易到达区块链系统进行第一次上链，查明所有交易方的信息后，确定资金以及资产都是确实的，就进行如下排队上链交易；（2）排队上链交易，交易和共识机制是分离，而且交易和结算机制是分离的；（3）共识后，这笔交易等待完成：如果交易和共识分离，交易需要等待区块链系统交易完成；如果区块链系统中共识和交易绑定，共识后就算交易完成；（4）交易完成后，将完成的交易信息第二次上链；如果交易没有成功或是交易被系统拒绝，这笔交易也上链，表示交易失败；（3）经过反洗钱等处理后，交易在适合的账户系统上结算成功，将这笔交易信息包括结算完成时间第3次上链。
25.或者，实时结算和监管方法采用如图3所示的交易即是结算的实时交易控制方法包括：（1）在共识前，大数据平台先从事监管检验，通过检验，才能参与共识，区块链系统将该交易的信息发送给大数据平台，大数据平台评估是否批准这笔交易；（2）大数据平台评估后，传送决定信息给区块链系统；
（3）收到大数据平台监管批准通知后，将监管批准通知上链，这是第二次上链；如果大数据平台返回拒绝通知，将拒绝通知也进行上链；区块链系统通知相关的单位和客户交易失败的信息；（4）如果大数据平台批准，这笔交易进入共识机制；如果交易和共识分离，这笔交易需要等待区块链系统交易完成；如果区块链系统共识和交易绑定，共识后认为交易完成；不论是共识即是交易，或是共识和交易分开，等交易完成后，将完成的交易信息第三次上链；如果因为异常，这笔交易失败，失败的信息也上链，这也是第三次上链，并通知相关的单位和客户。
26.作为优选的实施方式，交易实时结算流程采用mapreduce并行算法，适用于账户重叠情况较多的情况，用图1所示的系统架构，大数据平台有足够的计算和存储服务器可以支持实时大数据分析。系统由区块链和大数据平台构成，交易是其中有两次数据上链过程，交易数据在第一次上链过程中将会在大数据平台进行实时处理，生成其账户的结算数据，过程如图4所示，如图4所示为交易实时结算流程中第一步数据结构。其中生成的账户关联交易信息，其数据结构为一个侧链结构，所有的账户组成一个账户链，每一个账户都有一个侧链，侧链存储的是与该账户相关的所有交易，由于算法全程并行执行，速度相对于传统的清结算算法速度要快很多：（1）生成账户交易数据，算法步骤（mapreduce并行执行）如下：（11）进行账户词频分析，统计出所有账户信息；（12）并行处理所有交易，将每一个交易连接到交易相关方（交易发起方，交易接收方）的账户链下；（13）统计账户结算信息：其中若账户是某一交易的交易发起方，则将账户金额减去对应的交易金额，若某一账户是某一交易的交易接收方，则将账户金额增加对应的交易金额；（2）循环并行计算侧表数据进行交易结算，算法步骤如下：（21）并行统计每一账户侧表的转出金额的最小值，即计算每一个账户侧表的交易数据中交易发起方为该账户的转账金额中的单笔交易最小值，设为（s1，s2，...si）,其中i为账户数量，si为该账户在该时间段交易内的转出金额的单笔交易最小值；（22）设每个账户的账户余额为（a1，a2，...ai）,若ai》si，则把该账户侧表的交易数据中的对应该单笔最小值的转出交易标记为成功并更新ai = ai-si；若ai《si，则该账户侧表的交易数据暂时不变，ai也不变；（23）由于账户的每一个转出交易必然都有一个转入账户，所以每一个交易在账户侧表中都有两份数据，即每一个交易会在一个转出方账户侧表上，同时也在转入账户侧表上，将第二步中标记成功的交易使其在转入账户侧表上的相同交易数据同时标记为成功，更新账户余额表，将转入金额加在相应转入账户余额上；（24）重新执行步骤21，重新计算每一个账户未标记为成功的交易的单笔交易最小值为（s1，s2，...si），账户余额为（a1，a2，...ai），若存在ai》si的账户则转入步骤22继续计算，若不存在ai》si的账户即所有的账户则转入步骤24；（25）遍历账户侧表，把所有未标记为成功的交易标记为失败，此时处理完成，将交易结果反馈给下层区块链。算法流程如图5所示。
27.由于该结算是实时进行的，而且是365/7/24操作，所以会不停更新账户的结算信息。对于新加入的交易也可以并行进行上链操作，如果新加入的交易其账户不在主链中，则在主链尾加入新账户，若交易账户在主链中，则将该交易加入想对应的账户侧链，如图5所示。
28.作为优选的实施方式，交易实时结算流程未采用mapreduce并行算法，适用于账户重叠（即一个账户参与了多笔交易）情况较少的情况，包括：（1）将所有的交易数据进行分类，分类一为没有账户重叠情况的交易，分类二为有账户重叠情况的交易，分类方法采用哈希方法，即设置一个所有帐户的哈希表，遍历所有交易，在交易涉及的账户上进行标记，有多个标记的账户参与了多个交易，归类为分类一，仅有一次标记的账户只参与了一次交易，归类为分类二；（2）将所述分类一的交易进行并行实时结算，当交易发起方余额大于转账金额时，则交易成功，当交易发起方余额不足时，交易失败；（3）将分类二的交易所有的交易先进行转入操作，转入成功后如果金额大于转账金额时则交易成功，当交易发起方余额不足时，交易失败。
29.作为优选的实施方式，如果所述交易数据在进入时，已经处理过lsm，所述步骤（1）步可以省掉，由于lsm算法可以发现重叠交易的账户，而且还预处理这些重叠账户的相关交易，这样大数据平台只要查找相关账户是不是有足够的余额可以支付，就可以完成。
30.作为优选的实施方式，新账户信息或是新交易信息如图6所示，交易实时监管流程中通过交易实时结算算法得出的账户交易链可以得出具体的资金路径，如图7所示。算法步骤如下：（1）根据交易实时结算算法得出的交易结算数据计算得出具体账户在某一统计时间段的结算信息，其中账户结算信息为正值的必然最终有资金汇入，账户结算信息为负值的必然有资金汇出，资金则是由负值账户最终经过各种渠道汇入正值账户；（2）统计所有账户结算信息为负值的账户，对其相关的所有交易执行以下操作：a. 将所有交易信息按照时间戳顺序进行排序。简化的交易信息格式如下所示：b. 每一个交易数据都是一个数据块，从最开始的数据块开始循环遍历每一块数据，当交易块a的接收方等于交易块b的交易发起方时，将两个交易块链接，如图8所示。
31.c. 取每一个交易链条中的数据块的交易金额最小值s，用该链条的每一块交易数据的交易金额减去该最小值，得到(a1, a2, ...ai),其中i为该链条的交易块数，当ai=0时，删除数据列表中的该数据块，得出资金链条信息，然后转移到步骤b重新遍历，如图9所示。
32.d. 当数据块之间再无联系时，则每一个小的数据块都为一个独立的交易链条，最终的交易链条如图10所示。
33.（3）统计出所有的资金交易路径后，对于所有的账户（a1, a2, ..., ai），其中i为账户数量，维持一个洗钱概率表（p1, p2, ...pi），设置初始洗钱概率为0，对于在洗钱黑名单里的账户，按照黑名单中的洗钱概率（洗钱概率为洗钱金额占总交易金额的比例）更新其洗钱概率表，如图11所示（假设c和d在洗钱黑名单中）：
（4）遍历交易路径，对于与洗钱机构在同一交易路径上的所有账户更新其洗钱概率，如该账户更新前洗钱概率pi=0，则直接将该交易路径上的黑名单机构的洗钱概率pa赋值该账户，即pi=pa，如该账户更新前洗钱概率pi!=0，即该账户已经有洗钱机率，则按照交易金额权重更新其洗钱概率，公式如下：pi = （pi*s + pa*a）/ (s+a)s = s+a其中，pi为账户的洗钱概率，pa为本交易路径中黑名单机构的洗钱概率，a为本交易路径的交易金额，s为之前该账户的总的交易金额，更新pi后同时更新s，以本实施例的资金路径为例，图12所示为概率表更新步骤。
34.（5）对于新上链的交易实时更新其交易账户的洗钱概率，并设置交易白名单（白名单中为洗钱概率为0或少于洗钱概率阈值的账户信息，洗钱概率的阈值可以人为设定），以本实施例中的交易为例，白名单账户为账户e和账户f。
35.（6）交易上链分两次，第一次上链时，若交易账户在白名单中，且交易金额s《a(a为小额交易的阈值，可以人为设定)时，则交易直接通过，第二次上链时，查看账户洗钱概率，若洗钱概率pi》p(p为控制洗钱概率的阈值，可以人为设定)，则判定交易失败。
36.本实施例中，具体监管实施步骤：在交易数据第一次上链时要执行以下操作：第一步简单测试，若交易账户在洗钱白名单中，且交易金额符合小额交易的标准，则交易可以直接通过，若交易账户洗钱概率大于设定值则交易直接失败，若交易金额较大且账户存在洗钱概率时（但没有高于设定值）则进行第二次上链，第一次上链的交易数据更新交易账户链数据，并更新洗钱白名单数据以及账户洗钱概率表。
37.第二次上链时则进行反洗钱查询，并进行深入的背景调查，如账户不在反洗钱交易链上，则交易成功，如账户在反洗钱交易链，则交易失败。
38.本实施例涉及的具体计算机代码如下：本实施例中区块链系统上的交易和大数据平台上交互，完成交易以及监管流程，确保区块链系统上交易的安全性和可被监管性。
39.虽然本发明已经参考特定的说明性实施例进行了描述，但是不会受到这些实施例的限定而仅仅受到附加权利要求的限定。本领域技术人员应当理解可以在不偏离本发明的保护范围和精神的情况下对本发明的实施例能够进行改动和修改。

技术特征：
1.一种基于区块链和大数据平台的实时结算和监管方法，其特征在于包括：交易实时结算流程以及交易实时监管流程；所述基于区块链和大数据平台的实时结算和监管方法由基于区块链和大数据平台的实时结算和监管系统实现，所述系统包括：区块链系统，用于执行数字资产交易，以及将交易信息实时报告给大数据平台，所述区块链系统执行交易采取相同或不同的交易流程，所述交易的所有信息都存在所述区块链系统中的同时报告给所述大数据平台，所述区块链系统包括多个节点，每个节点维持链条，所述链条上具有区块，所述区块通过哈希算法保证不会被篡改；大数据平台，所述大数据平台用于将区块链系统报告的所述交易的信息存在数据表或数据图中，从而便于查询并从事监管活动，所述数据表或数据图动态生成而且动态更新；所述大数据平台还用于动态调整并维持数据索引；所述大数据平台位于至少一个区块链系统的节点上，所述节点为超级节点，所述大数据平台和一个或多个监管单位连接，所述大数据平台收集数据，验证所述数据后，对所述进行分析，获得当时交易情形作为监管决策的依据；或者所述大数据平台接收从其他可靠单位获得的相关监管信息；或者所述大数据平台自身收集和分析信息；所述大数据平台根据黑名单以及其他评级数据，包括自己收集和分析的数据，对当时正在做交易快速评估是否通过这笔交易；所述大数据完成评估后，立刻将评估决定实时发送到所述区块链系统；所述区块链系统根据监管报告，确定完成这笔交易或是拒绝这笔交易；不论交易是否批准可以完成或是被拒，区块链系统立刻将相关信息放进区块中，共识后上链；如果最后决定是拒绝这笔交易，相关单位或是个人如果参与洗钱活动，大数据平台，或是区块链系统，或是两个系统都自动报告该信息给所述监管单位；存储系统，使用块中块机制存储或者传统存储机制存储交易信息以及监管信息；以及网络系统，所述网络系统为高速网络系统，用于连接所述区块链系统、大数据平台以及存储系统；所述方法包括：所述大数据平台收集数据，验证所述数据后，对所述进行分析，获得当时交易情形作为监管决策的依据；或者所述大数据平台接收从其他可靠单位获得的相关监管信息；或者所述大数据平台自身收集和分析信息；所述大数据平台根据黑名单以及其他评级数据，包括自己收集和分析的数据，对当时正在做交易快速评估是否通过这笔交易；所述大数据完成评估后，立刻将评估决定实时发送到所述区块链系统；所述区块链系统根据监管报告，确定完成这笔交易或是拒绝这笔交易；不论交易是否批准可以完成或是被拒，区块链系统立刻将相关信息放进区块中，共识后上链；如果最后决定是拒绝这笔交易，相关单位或是个人如果参与洗钱活动，大数据平台，或是区块链系统，或是两个系统都自动报告所述参与洗钱活动的信息给所述监管单位；从而实现交易实时结算以及交易实时监管。2.根据权利要求1所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于所述实时结算和监管方法采用交易和结算分开的机制，包括：（1）一笔所述交易到达区块链系统进行第一次上链，查明所有交易方的信息后，确定资金以及资产都是确实的，就进行如下排队上链交易；（2）排队上链交易，交易和共识机制是分离，而且交易和结算机制是分离的；（3）共识后，这笔所述交易等待完成：如果交易和共识分离，所述交易需要等待区块链系统交易完成；如果所述区块链系统中共识和交易绑定，共识后就算交易完成；（4）所述交易完成后，将完成的交易信息第二次上链；
如果交易没有成功或是交易被系统拒绝，这笔交易也上链，表示交易失败；（5）经过反洗钱等处理后，交易在适合的账户系统上结算成功，将这笔交易信息包括结算完成时间第3次上链。3.根据权利要求1所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于所述实时结算和监管方法采用交易即是结算的机制，包括：（1）在共识前，大数据平台先从事监管检验，通过检验，才能参与共识，区块链系统将该交易的信息发送给大数据平台，大数据平台评估是否批准这笔交易；（2）大数据平台评估后，传送决定信息给区块链系统；（3）收到大数据平台监管批准通知后，将所述监管批准通知上链，这是第二次上链；如果大数据平台返回拒绝通知，将所述拒绝通知也进行上链；区块链系统通知相关的单位和客户交易失败的信息；（4）如果大数据平台批准，这笔交易进入共识机制；如果交易和共识分离，这笔交易需要等待区块链系统交易完成；如果所述区块链系统共识和交易绑定，共识后认为交易完成；不论是共识即是交易，或是共识和交易分开，等交易完成后，将完成的交易信息第三次上链；如果因为异常，这笔交易失败，失败的信息也上链，这也是第三次上链，并通知相关的单位和客户。4.根据权利要求1所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于所述交易实时结算流程中交易有两次数据上链过程，交易数据在第一次上链过程中将会在大数据平台进行实时处理，生成其账户的结算数据。5.根据权利要求4所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于所述账户的结算数据包括账户关联交易信息，所述账户关联交易信息的数据结构为一个侧链结构，所有的账户组成一个账户链，每一个账户都有一个侧链，侧链存储的是与该账户相关的所有交易。6.根据权利要求1所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于所述交易实时结算流程采用mapreduce并行算法，适用于账户重叠即一个账户参与了多笔交易情况较多的情况，包括：（1）生成账户交易数据，包括：（11）进行账户词频分析，统计出所有账户信息；（12）并行处理所有交易，将每一个交易连接到交易相关方（交易发起方，交易接收方）的账户链下；（13）统计账户结算信息：其中若账户是某一交易的交易发起方，则将账户金额减去对应的交易金额，若某一账户是某一交易的交易接收方，则将账户金额增加对应的交易金额；（2）循环并行计算侧表数据进行交易结算，包括：（21）并行统计每一账户侧表的转出金额的最小值，即计算每一个账户侧表的交易数据中交易发起方为该账户的转账金额中的单笔交易最小值，设为（s1，s2，...si）,其中i为账户数量，si为该账户在该时间段交易内的转出金额的单笔交易最小值；（22）设每个账户的账户余额为（a1，a2，...ai）,若ai>si，则把该账户侧表的交易数据中的对应该单笔最小值的转出交易标记为成功并更新ai = ai-si；若ai<si，则该账户侧表的交易数据暂时不变，ai也不变；
（23）由于账户的每一个转出交易必然都有一个转入账户，所以每一个交易在账户侧表中都有两份数据，即每一个交易会在一个转出方账户侧表上，同时也在转入账户侧表上，将第二步中标记成功的交易使其在转入账户侧表上的相同交易数据同时标记为成功，更新账户余额表，将转入金额加在相应转入账户余额上；（24）重新执行步骤21，重新计算每一个账户未标记为成功的交易的单笔交易最小值为（s1，s2，...si），账户余额为（a1，a2，...ai），若存在ai>si的账户则转入步骤22继续计算，若不存在ai>si的账户即所有的账户则转入步骤24；（25）遍历账户侧表，把所有未标记为成功的交易标记为失败，此时处理完成，将交易结果反馈给下层区块链。7.根据权利要求1所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于所述交易实时结算流程未采用mapreduce并行算法，适用于账户重叠，即一个账户参与了多笔交易情况较少的情况，包括：（1）将所有的交易数据进行分类，分类一为没有账户重叠情况的交易，分类二为有账户重叠情况的交易，分类方法采用哈希方法，即设置一个所有帐户的哈希表，遍历所有交易，在交易涉及的账户上进行标记，有多个标记的账户参与了多个交易，归类为分类一，仅有一次标记的账户只参与了一次交易，归类为分类二；（2）将所述分类一的交易进行并行实时结算，当交易发起方余额大于转账金额时，则交易成功，当交易发起方余额不足时，交易失败；（3）将分类二的交易所有的交易先进行转入操作，转入成功后如果金额大于转账金额时则交易成功，当交易发起方余额不足时，交易失败。8.根据权利要求7所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于如果所述交易数据在进入时，已经处理过lsm，所述步骤（1）步可以省掉，由于lsm算法可以发现重叠交易的账户，而且还预处理这些重叠账户的相关交易，这样大数据平台只要查找相关账户是不是有足够的余额可以支付，就可以完成。9.根据权利要求1所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于所述交易实时监管流程中通过交易实时结算算法得出的账户交易链可以得出具体的资金路径，包括：（1）根据交易实时结算算法得出的交易结算数据计算得出具体账户在某一统计时间段的结算信息，其中账户结算信息为正值的必然最终有资金汇入，账户结算信息为负值的必然有资金汇出，资金则是由负值账户最终经过各种渠道汇入正值账户；（2）统计所有账户结算信息为负值的账户，对其相关的所有交易执行交易链条生成操作；（3）统计出所有的资金交易路径后，对于所有的账户（a1, a2, ..., ai），其中i为账户数量，维持一个洗钱概率表（p1, p2, ...pi），设置初始洗钱概率为0，对于在洗钱黑名单里的账户，按照黑名单中的洗钱概率更新其洗钱概率表，其中所述洗钱概率为洗钱金额占总交易金额的比例；（4）遍历交易路径，对于与洗钱机构在同一交易路径上的所有账户更新其洗钱概率；（5）对于新上链的交易实时更新其交易账户的洗钱概率，并设置交易白名单，所述白名单中为洗钱概率为0或少于洗钱概率阈值的账户信息，洗钱概率的阈值可以人为设定；
（6）将交易数据上链分两次，第一次上链时，若交易账户在白名单中，且交易金额s<a时，则交易直接通过，其中a为小额交易的阈值；第二次上链时，查看账户洗钱概率，若洗钱概率pi>p，则判定交易失败，其中p为控制洗钱概率的阈值；所述步骤（6）的所述将交易数据上链分两次包括：在交易数据第一次上链时要执行以下操作：第一步简单测试，若交易账户在洗钱白名单中，且交易金额符合小额交易的标准，则交易可以直接通过，若交易账户洗钱概率大于设定值则交易直接失败，若交易金额较大且账户存在洗钱概率但没有高于设定值时，则进行第二次上链，第一次上链的交易数据更新交易账户链数据，并更新洗钱白名单数据以及账户洗钱概率表；所述交易数据第二次上链时则进行反洗钱查询，并进行深入的背景调查，如账户不在反洗钱交易链上，则交易成功，如账户在反洗钱交易链，则交易失败。10.根据权利要求9所述的一种基于区块链和大数据平台的实时结算和监管方法，其特征在于所述交易链条生成操作包括：a. 将所有交易信息按照时间戳顺序进行排序获得简化的交易信息，所述简化的交易信息包括时间戳、交易发起方、交易接收方以及交易金额；b. 将每一个交易数据视为一个数据块，从最开始的数据块开始循环遍历每一块数据，当交易块a的接收方等于交易块b的交易发起方时，将两个交易块链接；c. 取每一个交易链条中的数据块的交易金额最小值s，用该链条的每一块交易数据的交易金额减去该最小值，得到(a1, a2, ...ai),其中i为该链条的交易块数，当ai=0时，删除数据列表中的该数据块，得出资金链条信息，然后转移到步骤b重新遍历；d. 当数据块之间再无联系时，则每一个小的数据块都为一个独立的交易链条。

技术总结
本发明提供一种基于区块链和大数据平台的实时结算和监管系统的实时结算和监管系统和方法，系统实现交易结算以及反洗钱监管的算法，包括：区块链系统，用于执行数字资产交易及将交易信息实时报告给大数据平台；大数据平台，用于将区块链系统报告的交易的信息存在数据表或数据图中，对当时交易快速评估是否通过这笔交易；评估后，立刻将评估决定实时发送到区块链系统；区块链系统根据监管报告，确定完成或拒绝这笔交易；区块链系统立刻将相关信息放进区块中，共识后上链；拒绝这笔交易后自动报告该信息给监管单位；存储系统，使用块中块机制存储或传统存储机制存储交易信息及监管信息；及网络系统，用于连接区块链系统、大数据平台及存储系统。平台及存储系统。平台及存储系统。


技术研发人员：蔡维德
受保护的技术使用者：天民（青岛）国际沙盒研究院有限公司
技术研发日：2021.08.16
技术公布日：2022/3/8