数据存储及读取的方法、装置、设备及介质与流程

专利查询2月前  26



1.本发明涉及互联网技术领域,尤其是一种数据存储及读取的方法、装置、电子设备及存储介质。


背景技术:

2.互联网文章越来越多,内容越来越丰富,要求相关服务器既能将文章数据稳定的存储,又能将文章信息快速准确的提供给搜索用户,现有技术的服务器一般都是将互联网文章直接存储到数据库中,给用户提供数据端口,由用户直接从数据库中读取相应的文章数据,这种方式对于小访问量而言可以应对,但是对于大用户量同时访问时,容易引起服务器宕机。
3.对于此种问题,现有技术一般采用使用不同的数据库类型,以提高数据访问量和数据存储的安全性,但是这种方法能够提升的空间比较小,不能从本质上改变服务器宕机问题,另一种技术是将部分信息存储到缓存中,以提高用户访问文章数据的效率,但是这种方式的时间效率比较差,随着互联网文章的增多,内存的占用率将变大,同样会影响计算机的处理速度。
4.因此,需要一种能够通过改变文章数据的存储方式,能够保证文章数据存储的稳定性,同时提高用户快速访问、检索文章信息的流畅性,不会发生宕机现象。


技术实现要素:

5.为此,本发明提供了一种数据存储及读取的方法、装置、电子设备及存储介质,以力图解决或者至少缓解上面存在的至少一个问题。
6.根据本发明的一个方面,提供了一种数据存储及读取的方法,该方法将文章数据的摘要信息和全文信息分别存储到不同的服务器中,实现文章数据的稳定存储和快速读取,所述方法包括步骤:
7.对文章数据进行分类,获取文章数据的第一信息和第二信息,所述第一信息为所述文章数据的摘要信息,所述第二信息为所述文章数据的全文信息;依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中,所述第一服务器为搜索服务器elasticsearch;依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中,所述第二服务器为双活集群的数据服务器sqlserver集群,所述第三服务器为数据服务器hbase;按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对;依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。
8.可选地,所述对文章数据进行分类,获取文章数据的第一信息和第二信息的步骤
包括:获取商家发布的文章数据,所述文章数据包括文章标题、摘要文字信息、内容文字信息、图片信息、文章序列号、商家序列号、文章数据有效时间信息;依据所述商家发布的文章数据,获取所述文章数据中的第一信息和第二信息,所述第一信息为文章数据的摘要信息,所述摘要信息包括:文章序列号、摘要文字信息、图片信息中的第一幅图片、商家序列号、文章数据有效时间信息,所述第二信息为文章数据的全文信息,所述全文信息包括:文章标题、内容文字信息、图片信息、文章序列号、商家序列号、文章数据有效时间信息。
9.可选地,所述依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中的步骤包括:将所述第一信息加入kafka消息队列,获取所述kafka消息队列的第一信息进程列表;依据所述kafka消息队列的第一信息进程列表,获取所述kafka消息队列的第一信息进程列表被消费的监听信息;依据所述kafka消息队列的第一信息进程列表被消费的监听信息,获取被消费的所述第一信息的数据格式变换成所述第一服务器的数据存储格式,并将被消费的所述第一信息存储到所述第一服务器中,所述第一服务器为搜索服务器elasticsearch。
10.可选地,所述依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中的步骤还包括:将所述第一服务器中存储的一个或多个第一信息加入kafka消息队列,获取所述kafka消息队列的第一信息进程列表;依据所述kafka消息队列的第一信息进程列表,获取所述kafka消息队列的第一信息进程列表被消费的监听信息;依据所述kafka消息队列的第一信息进程列表被消费的监听信息,所述第一服务器中更新被消费的所述第一信息。
11.可选地,所述依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三数据并存储到第三服务器中的步骤包括:获取所述第二信息连接的全部应用程序接口及每个所述应用程序接口在所述第二服务器的数据表;依据所述第二信息连接的全部应用程序接口及每个所述应用程序接口在所述第二服务器的数据表,将所述第二信息分别存储到与所述应用程序接口相适应的第二服务器的数据表中;依据所述每一个应用程序接口在所述第二服务器的数据表中存储的第二信息,将所述第二信息加上样式序列化数据,获取第三信息,所述第三信息与对应的应用程序接口的数据格式相适应;将所述第三信息存储到所述应用程序接口对应的第三服务器中。
12.可选地,所述第二服务器为双活集群的数据服务器sqlserver集群,所述双活集群的数据服务器sqlserver集群为分别部署于两个地域的两套数据服务器sqlserver集群,所述两套数据服务器sqlserver集群同时存储第二信息,所述两套数据服务器sqlserver集群中,第一套数据服务器sqlserver集群为生产集群,用于提供数据读写服务,第二套数据服务器sqlserver集群为备份集群,用于在所述第一套数据服务器sqlserver集群故障时,接替所述第一套数据服务器sqlserver集群的数据读取服务;所述两套数据服务器sqlserver集群为主从模式,包括一个主服务器和多个从服务器,所述主服务器提供写数据操作,用于将第二信息写入到所述第二服务器,所述从服务器提供读数据操作,用于从所述第二服务器中读取第二信息。
13.可选地,所述第一服务器与第二服务器中存储数据的一致性比对的步骤包括:更新所述第一服务器中存储的第一信息,及第二服务器中存储的第二信息;分别从所述第一
服务器中获取第一信息,从第二服务器中获取第二信息;判断所述第二信息是否存在对应的第一信息;如果否,则在所述第一服务器中写入或删除与所述第二信息不对应存在的第一信息。
14.可选地,所述第二服务器与第三服务器中存储数据的一致性比对的步骤包括:更新所述第二服务器中存储的第二信息,以及所述第三服务器中存储的第三信息;设置时间戳,获取时间戳范围内的设定数量的第二服务器中的第二信息,以及第三服务器中的第三信息;判断所述第二信息是否存在对应的第三信息;如果否,则在所述第三服务器中写入或删除与所述第二信息不对应存在的第三信息。。
15.根据本发明的又一方面,公开了一种数据存储及读取的装置,该装置通过将文章数据的摘要信息和全文信息分别存储到不同的服务器中,实现文章数据的稳定存储和快速读取,所述装置包括:文章数据处理模块,用于对文章数据进行分类,获取文章数据的第一信息和第二信息,所述第一信息为所述文章数据的摘要信息,所述第二信息为所述文章数据的全文信息;信息存储模块,用于依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中,所述第一服务器为搜索服务器elasticsearch;依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中,所述第二服务器为双活集群的数据服务器sqlserver集群,所述第三服务器为数据服务器hbase;信息比对模块,用于按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对;信息读取模块,用于依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。
16.根据本发明的又一方面,提供了一种计算设备,包括:一个或多个处理器;和存储器;一个或多个程序,其中所述一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,所述一个或多个程序包括用于执行如上所述数据存储及读取的方法中的任一方法的指令。
17.根据本发明的又一方面,提供了一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当计算设备执行时,使得计算设备执行如上所述数据存储及读取的方法中的任一方法。
18.根据本发明的数据存储及读取的方案,通过对文章数据进行分类,获取文章数据的第一信息和第二信息;将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中;将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中;按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对;依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。本技术可以实现文章数据的安全存储,并提供高效的文章数据查询。
附图说明
19.为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
20.图1示出了根据本发明一个实施例的计算设备100的构造示意图;以及
21.图2示出了根据本发明一个实施例的数据存储及读取的方法200的流程图;以及
22.图3示出了根据本发明一个实施例的数据存储及读取的装置300的结构示意图。
具体实施方式
23.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
24.图1是示例计算设备100的框图。在基本的配置102中,计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
25.取决于期望的配置,处理器104可以是任何类型的处理,包括但不限于:微处理器(μp)、微控制器(μc)、数字信息处理器(dsp)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(alu)、浮点数单元(fpu)、数字信号处理核心(dsp核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用,或者在一些实现中,存储器控制器118可以是处理器104的一个内部部分。
26.取决于期望的配置,系统存储器106可以是任意类型的存储器,包括但不限于:易失性存储器(诸如ram)、非易失性存储器(诸如rom、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中,应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中,计算设备100被配置为执行数据存储及读取的方法200,该方法200能够通过将文章数据的摘要信息和全文信息分别存储到不同的服务器中,实现文章数据的稳定存储和快速读取,程序数据124中包含了用于执行该方法200的指令。
27.计算设备100还可以包括有助于从各种接口设备(例如,输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个a/v端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156,它们可以被配置为有助于经由一个或者多个i/o端口158和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160,其可以被布置为便于经由一个或者多个通信端口164与一
个或者多个其他计算设备162通过网络通信链路的通信。
28.网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(rf)、微波、红外(ir)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在一些实施例中,计算机可读介质中存储一个或多个程序,这一个或多个程序中包括执行某些方法的指令,如根据本发明的实施例,计算设备100通过所述指令来执行数据存储及读取的方法200。
29.计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如蜂窝电话、个人数字助理(pda)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
30.图2示出了根据本发明一个实施例的数据存储及读取的方法200的流程图。如图2所示,该方法200方法通过将文章数据的摘要信息和全文信息分别存储到不同的服务器中,实现文章数据的稳定存储和快速读取,方法200始于步骤s210,对文章数据进行分类,获取文章数据的第一信息和第二信息,所述第一信息为所述文章数据的摘要信息,所述第二信息为所述文章数据的全文信息。
31.具体的,文章数据是汽车厂商或者卖家在互联网上发布的关于汽车销售、汽车产品介绍等汽车资讯信息的文章,在文章数据中包含大量的文字和图片,每一篇文章数据都包含文章标题、文章的摘要文字,网络自动生成该文章的序列号、商家的序列号以及设定的文章数据有效时间信息,因此,对于一篇文章数据,可以将文章数据区分成两个部分,一部分是简单获取文章的主题意思,也就是文章的摘要信息,另一部分则是文章的全文数据,用于用户了解文章数据的全文信息,通过将文章数据区分为摘要信息和全文信息,有助于提高用户的搜索效率,比如,用户想检索一个汽车的打折文章数据,那么通过检索摘要信息就可以获取自己想要的文章数据,而不用获取文章数据的全文信息,这样一方面检索的数据量将大大降低,另一方面便于用户快速获取到目标文章。
32.具体的,在本技术的一个实施例中,所述对文章数据进行分类,获取文章数据的第一信息和第二信息的步骤包括:
33.获取商家发布的文章数据,所述文章数据包括文章标题、摘要文字信息、内容文字信息、图片信息、文章序列号、商家序列号、文章数据有效时间信息;具体的,商家通过后台管理系统在互联网上发布数据时,需要完成如下文章数据内容的制作:文章标题,用户显示在相应网页页面的顶端,文章标题一般是文章内容的高度概括;摘要文字信息,用于以简短的语言概括文章数据的主要文字内容,一般为几十个字;内容文字信息,文章数据的全部文字信息,详细描述商家发布文章的全部内容;图片信息,可以包括一幅或多幅图片,用于辅助介绍商家发布文章的文字信息;文章序列号,当商家进入后台管理系统进行文章发布时,由后台管理系统自动生成一个文章的序列号;商家序列号,当商家在互联网平台的后台管理系统完成相应内容的注册后,自动获取一个对应于该商家的唯一的一个序列号;文章数
据有效时间信息,为了提高商家发布文章的时效性,比如,某一款汽车限时打折销售,那么这个文章数据有效时间信息就可以设置为从发布时间到打折结束时间,在达到文章数据有效时间信息以后,文章自动删除或者不再向互联网客户显示相应内容。
34.依据所述商家发布的文章数据,获取所述文章数据中的第一信息和第二信息,所述第一信息为文章数据的摘要信息,所述摘要信息包括:文章序列号、摘要文字信息、图片信息中的第一幅图片、商家序列号、文章数据有效时间信息,所述第二信息为文章数据的全文信息,所述全文信息包括:文章标题、内容文字信息、图片信息、文章序列号、商家序列号、文章数据有效时间信息。具体的,根据商家在互联网平台的后台管理系统发布完成文章数据以后,可以根据文章数据的相应数据模块将文章数据区分为第一信息和第二信息进行分别存储,第一信息为文章数据的摘要信息,也就是通过第一信息可以大致了解文章信息的核心内容,但无法了解详细内容,同时由于第一信息所包含的数据比较少,便于互联网用户快速搜索,而获取文章数据的核心内容,第二信息为文章数据的全文信息,是文章数据的详细内容,在互联网用户获取了第二信息以后,可以了解文章数据的全部内容。在具体的实施中,比如用户检索一个关键词以后,通过检索系统可以快速获取第一信息中包含该关键词的第一信息列表,由于第一信息中的数据比较少,每一个第一信息的检索时间也相对更少,那么检索同样数量的第一信息列表与文章数据来说,检索第一信息的效率将大大提高,互联网用户通过检索的第一信息列表可以获取自己感兴趣的摘要信息,通过点击某一个第一信息列表可以获取该第一信息所对应的第二信息,也就是获取了文章数据的全文信息,由于数据链接的指向性很强,因此,获取第二信息的速度也比较快,更加快速的实现了互联网用户获取目标文章数据的目的。
35.通过步骤s220,依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中,所述第一服务器为搜索服务器elasticsearch。
36.具体的,为了提高数据存储的稳定性,将第一信息加入到kafka消息队列,通过kafka消息队列对需要存储的第一信息进行排队,每一个kafka消息队列中的第一信息被消费之后,即存储到第一服务器中,由于在kafka消息队列中的第一信息是按照队列方式逐一被消费的,因此,在多个商家同时发布多个文章数据的第一信息时,kafka消息队列会将这些第一信息加入到列表中,从而使第一信息在存储时按照列表逐一进行存储,不会出现存储上的混乱,所述第一服务器为搜索服务器elasticsearch,所述搜索服务器elasticsearch是一个基于lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎,基于restful web接口,搜索服务器elasticsearch作为apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。
37.具体的,在本技术的实施例中,所述依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中的步骤包括:
38.将所述第一信息加入kafka消息队列,获取所述kafka消息队列的第一信息进程列表;具体的,将第一信息加入到kafka消息队列以后,就能够获取加入了当前第一信息后的所述kafka消息队列的第一信息进程列表,当多个第一信息同时加入kafka消息队列时,kafka消息队列会按照设定的规则生成第一信息进程列表,第一信息进程列表的作用就是
使多个需要存储的多个第一信息进行排队,使第一信息按照进行列表的顺序等待着被处理。
39.依据所述kafka消息队列的第一信息进程列表,获取所述kafka消息队列的第一信息进程列表被消费的监听信息;具体的,所述第一信息进程列表被消费是指第一信息进程列表中的某一个第一信息被处理,此时的处理就是通知该第一消息进行存储操作,因为第一服务器并不知道kafka消息队列中的哪一个第一消息被消费,因此,需要设置一个进程实时监听在第一信息进程列表中的哪一个第一信息被消费,当第一服务器接收到所述kafka消息队列的第一信息进程列表被消费的监听信息以后,通过第一信息进程列表中的第一信息被消费的信息,所述第一服务器获取被消费的第一信息。
40.依据所述kafka消息队列的第一信息进程列表被消费的监听信息,获取被消费的所述第一信息的数据格式变换成所述第一服务器的数据存储格式,并将被消费的所述第一信息存储到所述第一服务器中,所述第一服务器为搜索服务器elasticsearch。具体的,所述第一服务器获取了所述kafka消息队列的第一信息进程列表被消费的第一信息以后,获取第一信息的内容,并将第一信息的数据格式转换为所述第一服务器存储的数据格式,完成格式转换以后,就可以将被消费的第一信息存储到第一服务器中,此时,第一服务器继续等待监听进程发送的所述kafka消息队列的第一信息进程列表被消费的监听信息,继续进行下一个被消费的第一信息的存储。
41.具体的,在本技术的一个实施例中,所述依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中的步骤还包括:
42.将所述第一服务器中存储的一个或多个第一信息加入kafka消息队列,获取所述kafka消息队列的第一信息进程列表;
43.依据所述kafka消息队列的第一信息进程列表,获取所述kafka消息队列的第一信息进程列表被消费的监听信息;
44.依据所述kafka消息队列的第一信息进程列表被消费的监听信息,所述第一服务器中更新被消费的所述第一信息。
45.具体的,上述步骤是商家对发布的文章数据进行修改或删除的操作,商家将需要修改或删除的第一信息发送到kafka消息队列,由于文章数据有对应的文章序列号,因此,当一个文章数据需要修改时,只需要获取该文章序列号即可,将修改或需要删除的第一信息发送到kafka消息队列以后,同样完成第一信息进程列表中的第一信息被消费,然后将该第一信息重新存储到第一服务器中,完成了对同样文章序列号的第一信息的更新,如果是第一信息的删除指令,那么就对第一服务器中存储的对应文章序列号的第一信息删除。
46.通过步骤s230,依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中,所述第二服务器为双活集群的数据服务器sqlserver集群,所述第三服务器为数据服务器hbase。
47.具体的,由于不同的终端用户接口需要不同的数据样式,比如,windows操作系统、andiron操作系统和ios操作系统所能接收的数据样式是不同的,同时还包括一些专用的终端设备,对于每一种类型的终端,第二服务器设置一个对应的数据表,第二服务器按照不同
的终端应用将第二数据存储到不同的数据表中,在每一个数据表的第二信息按照对应的终端格式,进行第二信息加上样式序列化数据,生成第三信息,此时的第三信息就是能够使对应的终端设备直接读取的数据样式,第三信息再次存储到第三服务器中,所述第二服务器为双活集群的数据服务器sqlserver集群,也就是设置第一个数据服务器sqlserver集群存储第二信息,然后再在异地设置第二个数据服务器sqlserver集群作为第一个数据服务器sqlserver集群的备份,当第一个数据服务器sqlserver集群故障无法使用时,第二个数据服务器sqlserver集群接替第一个数据服务器sqlserver集群提供数据服务。所述第三服务器为数据服务器hbase,所述数据服务器hbase是一个分布式的、面向列的开源数据库。
48.具体的,在本技术的一个实施例中,所述依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三数据并存储到第三服务器中的步骤包括:
49.获取所述第二信息连接的全部应用程序接口及每个所述应用程序接口在所述第二服务器的数据表;具体的,由于每一种应用程序接口对应一种终端设备,因此,第二服务器根据应用程序接口的不同,对每一个应用程序接口提供一个数据表,也就是说,在第二服务器连接不同的应用程序接口时,由于应用程序接口所连接的终端设备不同,而不同的终端设备所能接收的数据格式可能不同,相应应用程序接口所能够接收的数据格式则是一样的,因此,依据所述第二服务器连接的应用程序接口的样式,设置于所述应用程序接口样式数量相同的数据表,每一个数据表对应一个样式的应用程序接口,以使应用程序接口能够获取与其相适应数据格式的第二信息。
50.依据所述第二信息连接的全部应用程序接口及每个所述应用程序接口在所述第二服务器的数据表,将所述第二信息分别存储到与所述应用程序接口相适应的第二服务器的数据表中;具体的,由于第二服务器按照每一个应用程序接口的样式设置了一个数据表,而每一个应用程序接口均连接一个终端设备,因此,当一个终端设备需要获取第二服务器中的第二信息时,那么需要将第二信息存储到与该终端设备连接的应用程序接口所对应的第二服务器的数据表中,由于所述应用程序接口与所述第二服务器的数据表一一对应,因此,在第二信息存储时,需要将第二信息存储到与应用程序接口相适应的第二服务器的数据表中。
51.依据所述每一个应用程序接口在所述第二服务器的数据表中存储的第二信息,将所述第二信息加上样式序列化数据,获取第三信息,所述第三信息与对应的应用程序接口的数据格式相适应;具体的,在将第二信息分类存储到第二服务器的数据表以后,对每一个第二服务器的数据表设置一个对应的第三服务器的存储区域,将每一个第二服务器中的数据表中存储的第二信息加上样式序列化数据,生成第三信息,此时加上样式序列化数据的目的是将第三信息的数据格式与对应的应用程序接口的数据格式相适应,能够使应用接口程序连接的终端设备能够直接读取应用接口程序对应的第三信息。
52.将所述第三信息存储到所述应用程序接口对应的第三服务器中。具体的,与第二服务器相似,第三服务器也对每一个样式的应用程序接口提供一个存储空间,将第三信息存储到应用程序接口对应的第三服务器,也就是将第三信息存储到第三服务器中与应用接口程序相对应的存储空间,便于互联网用户的终端设备依据相应的应用接口程序获取相应的第三信息,也就是文章数据。需要说明的是,第二信息与第三信息之间的数据内容并没有
发生变化,第二信息与第三信息均为文章数据的全文信息,第二信息与第三信息之间的区别是数据的格式不同,第二信息只是将文章数据的全文信息存储到应用接口程序对应的第二服务器的数据表中,而第三信息是将第二服务器的数据表中存储的第二信息的数据与对应的应用接口程序的数据格式进行适应性的变化。
53.具体的,在本技术的一个实施例中,所述第二服务器为双活集群的数据服务器sqlserver集群,所述双活集群的数据服务器sqlserver集群为分别部署于两个地域的两套数据服务器sqlserver集群,所述两套数据服务器sqlserver集群同时存储第二信息,所述两套数据服务器sqlserver集群中,第一套数据服务器sqlserver集群为生产集群,用于提供数据读写服务,第二套数据服务器sqlserver集群为备份集群,用于在所述第一套数据服务器sqlserver集群故障时,接替所述第一套数据服务器sqlserver集群的数据读取服务;
54.所述两套数据服务器sqlserver集群为主从模式,包括一个主服务器和多个从服务器,所述主服务器提供写数据操作,用于将第二信息写入到所述第二服务器,所述从服务器提供读数据操作,用于从所述第二服务器中读取第二信息。
55.相对应的,所述第三服务器也包括两套,两套第三服务器分别与两套第二服务器相对应。具体的,比如,当商家发布文章数据时,文章数据的第二信息写入到主服务器;当互联网用户通过应用接口程序读取第二信息时,则是向从服务器读取数据。在具体实施时,可依据业务量的大小设置从服务器的数量,通过设定好的分配方式,将读数据的请求发送到某一个从服务器。
56.通过步骤s240,按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对。
57.具体的,一致性比对的目的是确保第一服务器存储的第一信息与第二服务器存储的第二信息保持同步,第二服务器中存储的第二信息与第三服务器中存储的第三信息保持同步,从而达到第一服务器、第二服务器、第三服务器存储的文章信息保持同步。特别时,一致性比对不需要实时进行比对,因为如果实行实时比对,那么计算机内容开销将非常大,影响数据处理效率,而且,一致性比对的需求并不是必要的,比如,即使不进行一致性比对,第一服务器、第二服务器、第三服务器中存储的文章数据有失步,这样会造成互联网用户可能无法获取某一个服务器中的部分文章数据内容,也不会对文章数据本身或者服务器本身造成影响,但是,通过一致性比对,可以使互联网用户获取更好的服务体验,而且能够使互联网用户获取全部的文章数据。
58.具体的,在本技术的一个实施例中,所述第一服务器与第二服务器中存储数据的一致性比对的步骤包括:
59.更新所述第一服务器中存储的第一信息,及第二服务器中存储的第二信息;
60.分别从所述第一服务器中获取第一信息,从第二服务器中获取第二信息;
61.判断所述第二信息是否存在对应的第一信息;
62.如果否,则在所述第一服务器中写入或删除与所述第二信息不对应存在的第一信息。
63.具体的,在本技术的一个实施例中,所述第二服务器与第三服务器中存储数据的一致性比对的步骤包括:
64.更新所述第二服务器中存储的第二信息,以及所述第三服务器中存储的第三信
息;
65.设置时间戳,获取时间戳范围内的设定数量的第二服务器中的第二信息,以及第三服务器中的第三信息;具体的,设置时间戳的目的是提高服务器存储数据的性能,如果不设置时间戳,因为第二服务器存储第二信息、第三服务器存储第三信息是不断更新的,而且由于第三服务器存储第三信息是在第二服务器存储第二信息之后,第三信息是第二信息加上样式序列化数据之后生成的,这样就存在着第三服务器中存储的第三信息与第二服务器中存储的第二信息不对应的问题,在设置了时间戳以后,通过比较时间戳之间一定数量的第二信息与第三信息的对应关系,则可以很好的克服上述问题,避免商家恰好在对比任务执行中发布新的文章数据而带来的数据不一致的假象。
66.判断所述第二信息是否存在对应的第三信息;
67.如果否,则在所述第三服务器中写入或删除与所述第二信息不对应存在的第三信息。
68.具体的,通过一致性比对,使第一服务器中的第一信息、第三服务器中的第三信息与第二服务器中的第二信息保持一致,这样就可以确保在互联网用户检索到第一信息以后,能够获取第三信息。
69.通过步骤s250,依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。
70.具体的,不同的应用程序接口从不同的服务器中读取文章数据,比如,如果应用程序接口为文章列表,那么就可以从第一服务器中获取第一信息,也就是文章数据的摘要,如果是文章全文的应用程序接口,那么就可以从第三服务器中获取第三信息,也就是文章数据的全文信息。
71.根据本发明的数据存储及读取的方案,通过对文章数据进行分类,获取文章数据的第一信息和第二信息;将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中;将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中;按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对;依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。本技术可以实现文章数据的安全存储,并提供高效的文章数据查询,将文章数据区分为摘要信息和全文信息,分别存储到不同的服务器中,充分利用不同服务器的优点,达到安全存储,快捷访问的目的,通过服务器之间的一致性比对,能够确保各个服务器中的数据同步,双活集群的数据服务器sqlserver集群的配置,能够确保在一个数据服务器sqlserver集群出现故障时,另一个数据服务器sqlserver集群能够接替工作,确保可数据存储的安全性。
72.应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,
而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
73.在一个实施例中,如图3所示,提供了一种数据存储及读取的装置300,所述装置300通过将文章数据的摘要信息和全文信息分别存储到不同的服务器中,实现文章数据的稳定存储和快速读取,所述装置300包括:文章数据处理模块、信息存储模块、信息比对模块、信息读取模块。
74.文章数据处理模块,用于对文章数据进行分类,获取文章数据的第一信息和第二信息,所述第一信息为所述文章数据的摘要信息,所述第二信息为所述文章数据的全文信息;
75.信息存储模块,用于依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中,所述第一服务器为搜索服务器elasticsearch;依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中,所述第二服务器为双活集群的数据服务器sqlserver集群,所述第三服务器为数据服务器hbase;
76.信息比对模块,用于按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对;
77.信息读取模块,用于依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。
78.具体的,在本技术的另一个实施例中,所述文章数据处理模块用于获取商家发布的文章数据,所述文章数据包括文章标题、摘要文字信息、内容文字信息、图片信息、文章序列号、商家序列号、文章数据有效时间信息;依据所述商家发布的文章数据,获取所述文章数据中的第一信息和第二信息,所述第一信息为文章数据的摘要信息,所述摘要信息包括:文章序列号、摘要文字信息、图片信息中的第一幅图片、商家序列号、文章数据有效时间信息,所述第二信息为文章数据的全文信息,所述全文信息包括:文章标题、内容文字信息、图片信息、文章序列号、商家序列号、文章数据有效时间信息。
79.具体的,在本技术的另一个实施例中,所述信息存储模块用于将所述第一信息加入kafka消息队列,获取所述kafka消息队列的第一信息进程列表;依据所述kafka消息队列的第一信息进程列表,获取所述kafka消息队列的第一信息进程列表被消费的监听信息;依据所述kafka消息队列的第一信息进程列表被消费的监听信息,获取被消费的所述第一信息的数据格式变换成所述第一服务器的数据存储格式,并将被消费的所述第一信息存储到所述第一服务器中,所述第一服务器为搜索服务器elasticsearch。
80.具体的,在本技术的另一个实施例中,所述信息存储模块用于将所述第一服务器中存储的一个或多个第一信息加入kafka消息队列,获取所述kafka消息队列的第一信息进程列表;依据所述kafka消息队列的第一信息进程列表,获取所述kafka消息队列的第一信息进程列表被消费的监听信息;依据所述kafka消息队列的第一信息进程列表被消费的监听信息,所述第一服务器中更新被消费的所述第一信息。
81.具体的,在本技术的另一个实施例中,所述信息存储模块用于获取所述第二信息连接的全部应用程序接口及每个所述应用程序接口在所述第二服务器的数据表;依据所述第二信息连接的全部应用程序接口及每个所述应用程序接口在所述第二服务器的数据表,
将所述第二信息分别存储到与所述应用程序接口相适应的第二服务器的数据表中;依据所述每一个应用程序接口在所述第二服务器的数据表中存储的第二信息,将所述第二信息加上样式序列化数据,获取第三信息,所述第三信息与对应的应用程序接口的数据格式相适应;将所述第三信息存储到所述应用程序接口对应的第三服务器中。
82.具体的,在本技术的另一个实施例中,所述信息存储模块的第二服务器为双活集群的数据服务器sqlserver集群,所述双活集群的数据服务器sqlserver集群为分别部署于两个地域的两套数据服务器sqlserver集群,所述两套数据服务器sqlserver集群同时存储第二信息,所述两套数据服务器sqlserver集群中,第一套数据服务器sqlserver集群为生产集群,用于提供数据读写服务,第二套数据服务器sqlserver集群为备份集群,用于在所述第一套数据服务器sqlserver集群故障时,接替所述第一套数据服务器sqlserver集群的数据读取服务;所述两套数据服务器sqlserver集群为主从模式,包括一个主服务器和多个从服务器,所述主服务器提供写数据操作,用于将第二信息写入到所述第二服务器,所述从服务器提供读数据操作,用于从所述第二服务器中读取第二信息。
83.具体的,在本技术的另一个实施例中,所述信息比对模块用于更新所述第一服务器中存储的第一信息,及第二服务器中存储的第二信息;分别从所述第一服务器中获取第一信息,从第二服务器中获取第二信息;判断所述第二信息是否存在对应的第一信息;如果否,则在所述第一服务器中写入或删除与所述第二信息不对应存在的第一信息。
84.具体的,在本技术的另一个实施例中,所述信息比对模块用于更新所述第二服务器中存储的第二信息,以及所述第三服务器中存储的第三信息;设置时间戳,获取时间戳范围内的设定数量的第二服务器中的第二信息,以及第三服务器中的第三信息;判断所述第二信息是否存在对应的第三信息;如果否,则在所述第三服务器中写入或删除与所述第二信息不对应存在的第三信息。
85.根据本发明的数据存储及读取的方案,通过文章数据处理模块对文章数据进行分类,获取文章数据的第一信息和第二信息;通过信息存储模块依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中;依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中;通过信息比对模块按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对;通过信息读取模块依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。本技术可以实现文章数据的安全存储,并提供高效的文章数据查询,将文章数据区分为摘要信息和全文信息,分别存储到不同的服务器中,充分利用不同服务器的优点,达到安全存储,快捷访问的目的,通过服务器之间的一致性比对,能够确保各个服务器中的数据同步,双活集群的数据服务器sqlserver集群的配置,能够确保在一个数据服务器sqlserver集群出现故障时,另一个数据服务器sqlserver集群能够接替工作,确保可数据存储的安全性。
86.a8、如a1所述的方法,其中,所述第二服务器与第三服务器中存储数据的一致性比对的步骤包括:更新所述第二服务器中存储的第二信息,以及所述第三服务器中存储的第三信息;设置时间戳,获取时间戳范围内的设定数量的第二服务器中的第二信息,以及第三
服务器中的第三信息;判断所述第二信息是否存在对应的第三信息;如果否,则在所述第三服务器中写入或删除与所述第二信息不对应存在的第三信息。
87.应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
88.本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
89.本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
90.此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
91.此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
92.如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
93.尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

技术特征:
1.一种数据存储及读取的方法,所述方法通过将文章数据的摘要信息和全文信息分别存储到不同的服务器中,实现文章数据的稳定存储和快速读取,所述方法包括步骤:对文章数据进行分类,获取文章数据的第一信息和第二信息,所述第一信息为所述文章数据的摘要信息,所述第二信息为所述文章数据的全文信息;依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中,所述第一服务器为搜索服务器elasticsearch;依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中,所述第二服务器为双活集群的数据服务器sqlserver集群,所述第三服务器为数据服务器hbase;按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对;依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。2.如权利要求1所述的方法,其中,所述对文章数据进行分类,获取文章数据的第一信息和第二信息的步骤包括:获取商家发布的文章数据,所述文章数据包括文章标题、摘要文字信息、内容文字信息、图片信息、文章序列号、商家序列号、文章数据有效时间信息;依据所述商家发布的文章数据,获取所述文章数据中的第一信息和第二信息,所述第一信息为文章数据的摘要信息,所述摘要信息包括:文章序列号、摘要文字信息、图片信息中的第一幅图片、商家序列号、文章数据有效时间信息,所述第二信息为文章数据的全文信息,所述全文信息包括:文章标题、内容文字信息、图片信息、文章序列号、商家序列号、文章数据有效时间信息。3.如权利要求1所述的方法,其中,所述依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中的步骤包括:将所述第一信息加入kafka消息队列,获取所述kafka消息队列的第一信息进程列表;依据所述kafka消息队列的第一信息进程列表,获取所述kafka消息队列的第一信息进程列表被消费的监听信息;依据所述kafka消息队列的第一信息进程列表被消费的监听信息,获取被消费的所述第一信息的数据格式变换成所述第一服务器的数据存储格式,并将被消费的所述第一信息存储到所述第一服务器中,所述第一服务器为搜索服务器elasticsearch。4.如权利要求3所述的方法,其中,所述依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中的步骤还包括:将所述第一服务器中存储的一个或多个第一信息加入kafka消息队列,获取所述kafka消息队列的第一信息进程列表;依据所述kafka消息队列的第一信息进程列表,获取所述kafka消息队列的第一信息进
程列表被消费的监听信息;依据所述kafka消息队列的第一信息进程列表被消费的监听信息,所述第一服务器中更新被消费的所述第一信息。5.如权利要求1所述的方法,其中,所述依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三数据并存储到第三服务器中的步骤包括:获取所述第二信息连接的全部应用程序接口及每个所述应用程序接口在所述第二服务器的数据表;依据所述第二信息连接的全部应用程序接口及每个所述应用程序接口在所述第二服务器的数据表,将所述第二信息分别存储到与所述应用程序接口相适应的第二服务器的数据表中;依据所述每一个应用程序接口在所述第二服务器的数据表中存储的第二信息,将所述第二信息加上样式序列化数据,获取第三信息,所述第三信息与对应的应用程序接口的数据格式相适应;将所述第三信息存储到所述应用程序接口对应的第三服务器中。6.如权利要求1所述的方法,其中,所述第二服务器为双活集群的数据服务器sqlserver集群,所述双活集群的数据服务器sqlserver集群为分别部署于两个地域的两套数据服务器sqlserver集群,所述两套数据服务器sqlserver集群同时存储第二信息,所述两套数据服务器sqlserver集群中,第一套数据服务器sqlserver集群为生产集群,用于提供数据读写服务,第二套数据服务器sqlserver集群为备份集群,用于在所述第一套数据服务器sqlserver集群故障时,接替所述第一套数据服务器sqlserver集群的数据读取服务;所述两套数据服务器sqlserver集群为主从模式,包括一个主服务器和多个从服务器,所述主服务器提供写数据操作,用于将第二信息写入到所述第二服务器,所述从服务器提供读数据操作,用于从所述第二服务器中读取第二信息。7.如权利要求1所述的方法,其中,所述第一服务器与第二服务器中存储数据的一致性比对的步骤包括:更新所述第一服务器中存储的第一信息,及第二服务器中存储的第二信息;分别从所述第一服务器中获取第一信息,从第二服务器中获取第二信息;判断所述第二信息是否存在对应的第一信息;如果否,则在所述第一服务器中写入或删除与所述第二信息不对应存在的第一信息。8.一种数据存储及读取的装置,所述装置通过将文章数据的摘要信息和全文信息分别存储到不同的服务器中,实现文章数据的稳定存储和快速读取,所述装置包括:文章数据处理模块,用于对文章数据进行分类,获取文章数据的第一信息和第二信息,所述第一信息为所述文章数据的摘要信息,所述第二信息为所述文章数据的全文信息;信息存储模块,用于依据所述第一信息,将所述第一信息加入kafka消息队列,并在所述kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中,所述第一服务器为搜索服务器elasticsearch;依据所述第二信息的不同用途,将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二服务器的不同数据表中的所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中,所述第二服务器为双活集
群的数据服务器sqlserver集群,所述第三服务器为数据服务器hbase;信息比对模块,用于按照设定的时间阈值,分别完成所述第一服务器与第二服务器、第二服务器与第三服务器中存储数据的一致性比对;信息读取模块,用于依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。9.一种电子设备,包括:一个或多个处理器;和存储器;一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1-7所述的方法中的任一方法的指令。10.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当计算设备执行时,使得所述计算设备执行根据权利要求1-7所述的方法中的任一方法。

技术总结
本发明公开了一种数据存储及读取的方法,包括步骤:对文章数据进行分类,获取文章数据的第一信息和第二信息;将所述第一信息加入Kafka消息队列,并在所述Kafka消息队列消费所述第一信息后,将所述第一信息存储到第一服务器中;将所述第二信息分别存储到第二服务器的不同数据表中,并在对所述第二信息加上样式序列化数据后,生成第三信息并存储到第三服务器中;按照设定的时间阈值,分别完成所述第二服务器与第一服务器、第三服务器中存储数据的一致性比对;依据不同的应用程序接口从所述第一服务器中获取第一信息,或,从第二服务器中获取第二信息,或,从第三服务器中获取第三信息。本申请可以实现文章数据的安全存储,并提供高效的文章数据查询。效的文章数据查询。效的文章数据查询。


技术研发人员:曹磊
受保护的技术使用者:北京皮尔布莱尼软件有限公司
技术研发日:2021.11.24
技术公布日:2022/3/7

最新回复(0)