一种云存储数据索引管理系统的制作方法

1.本发明属于数据云存储技术领域，特别是一种云存储数据索引管理系统。


背景技术：

2.存储是实现环境测评大数据建设中的一个重要组成部分。随着信息技术的不断发展，传统的san(storage arew network)或nas(network at tached storage)存储技术在存储容量和可扩展性上存在瓶颈，并且在硬件设备的部署数量上也存在一定限制，这使得用户升级系统的成本大大增加。
3.云存储系统与传统存储系统相比，具有以下特点:1,从功能需求来看，云存储系统面向多种类型的网络在线存储服务，而传统存储系统则面向如高性能计算、事务处理等应用；2,从性能需求来看，云存储服务首先需要考虑的是数据的安全、可靠、效率等指标，而且由于用户规模大、服务范围广、网络环境复杂多变等特点，实现高质量的云存储服务必将面临更大的技术挑战；第三，从数据管理来看，云存储系统不仅要提供类似于posix的传统文件访问，还要能够支持海量数据管理并提供公共服务支撑功能，以方便云存储系统后台数据的维护。
4.云存储采用可扩展的分布式文件系统，并使用廉价的pc机来进行系统部署，从而使得整体存储架构能够保持极低的成本。云存储是通过集群应用、网格技术、分布式文件系统等，将网络中大量类型各异的存储设备整合起来，并对外提供数据存储和业务访问功能的系统。简单来说，云存储是对虚拟化存储资源的管理和使用。云存储系统以传统的分布式存储技术为基础，利用高吞吐率网络技术为依托。在此过程中经常出现分布式存储技术跟踪监控困难，信息安全查询不方便，虚拟空间管理不灵活，数据检索速度慢，数据服务安全性差，数据服务连续性差，扩展性弱，接口种类不灵活。


技术实现要素：

5.本发明的目的是提供一种云存储数据索引管理系统，以解决现有技术中的不足，它能够提高数据管理性能和索引查询效率。
6.本技术的一个实施例提供了一种云存储数据索引管理系统，所述系统包括：
7.访问模块，用于访问系统客户端，获取所述客户端中的云存储服务；
8.应用接口模块，用于提供与外部连接的服务接口；
9.管理模块，用于实现系统的集群管理与控制；
10.存储模块，用于存储用户上传或待下载的数据，其中，所述数据由所述管理模块根据以下方法进行索引管理：
11.确定所述数据的数据类型；
12.计算所述数据类型与系统应用场景的关联度；
13.根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理。
14.如上所述的，其中，优选的是，所述确定所述数据的数据类型，包括：
15.根据预设类型划分规则，对所述数据进行划分数据类型；
16.提取所述数据的数据特征，将所述数据特征与所述数据类型发送至所述管理模块中的控制服务器存储。
17.如上所述的，其中，优选的是，所述计算所述数据类型与系统应用场景的关联度，包括：
18.根据系统应用场景与数据类型的预设映射规则，计算所述数据类型与所述系统应用场景的数据关联度；
19.根据所述数据关联度，对所述数据进行标签化处理和索引值设置，得到所述数据的数据标签和索引值，并将所述数据标签和索引值发送至所述控制服务器存储。
20.如上所述的，其中，优选的是，所述根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理，包括：
21.将所述数据关联度与预设阈值进行比较，根据比较结果设置存储规则；
22.根据所述存储分配规则，将所述数据存储到所述存储模块的各存储设备中，并给所述存储设备分配对应的网络资源。
23.如上所述的，其中，优选的是，所述系统还包括：备份模块，用于根据预设备份规则备份所述存储模块存储的数据。
24.如上所述的，其中，优选的是，所述系统还包括：存储加密模块，用于对所述存储模块存储的数据根据预设加密规则进行加密。
25.如上所述的，其中，优选的是，所述系统还包括：数据压缩模块，用于对数据进行压缩，以及对重复的数据进行删除。
26.如上所述的，其中，优选的是，所述系统还包括：数据检测恢复模块，用于对所述数据进行错误检测，以及对数据进行恢复。
27.如上所述的，其中，优选的是，所述系统还包括：可视化监控模块，用于对系统的模块及模块间的状态进行监控，并可视化展示。
28.如上所述的，其中，优选的是，所述管理模块，还用于：数据备份、数据加密、数据压缩、数据检测恢复和系统可视化监控。
29.与现有技术相比，本发明提供的一种云存储数据索引管理系统，包括：访问模块，用于访问系统客户端，获取所述客户端中的云存储服务；应用接口模块，用于提供与外部连接的服务接口；管理模块，用于实现系统的集群管理与控制；存储模块，用于存储用户上传或待下载的数据，其中，所述数据由所述管理模块根据以下方法进行索引管理：确定所述数据的数据类型；计算所述数据类型与系统应用场景的关联度；根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理，从而提高数据管理性能和索引查询效率。
附图说明
30.图1为本发明实施例提供的一种云存储数据索引管理系统的架构示意图；
31.图2为本发明实施例提供的一种数据的索引管理方法的流程示意图；
32.图3为本发明实施例提供的一种数据的索引管理装置的结构示意图；
33.图4为本发明实施例提供的一种数据的索引管理方法的计算机终端的硬件结构框图。
具体实施方式
34.下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
35.本发明的实施例提供了一种云存储数据索引管理系统，如图1所示，所述系统包括：访问模块101，用于访问系统客户端，获取所述客户端中的云存储服务；应用接口模块102，用于提供与外部连接的服务接口；管理模块103，用于实现系统的集群管理与控制；存储模块104，用于存储用户上传或待下载的数据。
36.示例性的，存储模块104，具体可以是存储层：存储设备数量庞大且分布在不同地域，彼此通过广域网、互联网或光纤通道网络连接在一起。在存储设备之上是一个统一存储设备管理系统，实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。
37.示例性的，管理模块103，具体可以是基础管理层：通过集群、分布式文件系统和网格计算等技术，实现云存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。数据加密技术保证云存储中的数据不会被未授权的用户访问，数据备份和容灾技术可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。
38.示例性的，应用接口模块102，具体可以是应用接口层：不同的云存储运营商根据业务类型，开发不同的服务接口，提供不同的服务。例如视频监控、视频点播应用平台、网络硬盘，远程数据备份应用等。
39.示例性的，访问模块101，具体可以是访问层：授权用户可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。
40.其中，所述数据由所述管理模块根据以下方法进行索引管理，如图2所示，包括：
41.s201，确定所述数据的数据类型；
42.具体地，所述确定所述数据的数据类型，可以根据预设类型划分规则，对所述数据进行划分数据类型；提取所述数据的数据特征，将所述数据特征与所述数据类型发送至所述管理模块中的控制服务器存储。示例性的，数据类型可以包括：图像、视频、文字等类型，数据特征为数据类型对应的体现数据类型下的特征标签属性，将该数据类型及其数据特征提取出来，精简数据特性，方便针对不同的数据特征进行标签化和区别管理。
43.s202，计算所述数据类型与系统应用场景的关联度；
44.具体地，所述计算所述数据类型与系统应用场景的关联度，可以根据系统应用场景与数据类型的预设映射规则，计算所述数据类型与所述系统应用场景的数据关联度；根据所述数据关联度，对所述数据进行标签化处理和索引值设置，得到所述数据的数据标签和索引值，并将所述数据标签和索引值发送至所述控制服务器存储。示例性的，系统应用场景为视频网站应用类数据管理系统，则视频数据类型与其关联度较高，关联度数值化区间可设为0-1，通过在视频数据下具体细分内容设定预设映射规则，从而具体化计算该数据类型下的单个数据与系统应用场景的数据关联度。其中，根据关联度进行标签值和索引值设定，从而较为精确细分数据，然后基于细分化的数据进行存储。
45.s203，根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理。
46.具体地，所述根据所述数据类型与系统应用场景的关联度，将所述数据进行存储
与管理，可以将所述数据关联度与预设阈值进行比较，根据比较结果设置存储规则；根据所述存储分配规则，将所述数据存储到所述存储模块的各存储设备中，并给所述存储设备分配对应的网络资源。示例性的，存储设备可以位于不同的地域，进行分布式存储。根据系统应用场景的属地，将关联度高的数据存储于物理距离较近的存储设备中被给予较为丰富的存储资源和网络资源。例如对于视频网站应用系统，将视频数据存储于较近的地域的存储设备，并设定高优先级的带宽资源和存储空间，其他类型根据关联度相应设置等等。
47.进一步地，所述系统还可以包括：备份模块，用于根据预设备份规则备份所述存储模块存储的数据。
48.进一步地，所述系统还可以包括：存储加密模块，用于对所述存储模块存储的数据根据预设加密规则进行加密。存储加密是指当数据从前端服务器输出，或在写进存储设备之前通过系统为数据加密，以保证存放在存储设备上的数据只有授权用户才能读取。目前云存储中常用的存储加密技术有以下几种：全盘加密，全部存储数据都是以密文形式书写的；虚拟磁盘加密，存放数据之前建立加密的磁盘空间，并通过加密磁盘空间对数据进行加密；卷加密，所有用户和系统文件都被加密；文件/目录加密，对单个的文件或者目录进行加密。
49.进一步地，所述系统还可以包括：数据压缩模块，用于对数据进行压缩，以及对重复的数据进行删除。为应对数据存储的急剧膨胀，企业需要不断购置大量的存储设备来满足不断增长的存储需求。权威机构研究发现，企业购买了大量的存储设备，但是利用率往往不足50％，存储投资回报率水平较低。通过云存储技术不仅解决了存储中的高安全性、可靠性、可扩展、易管理等存储的基本要求，同时也利用云存储中的数据缩减技术，满足海量信息爆炸式增长趋势，一定程度上节约企业存储成本，提高效率。
50.进一步地，所述系统还可以包括：数据检测恢复模块，用于对所述数据进行错误检测，以及对数据进行恢复。具体可以通过数据备份技术和容灾技术备份数据，在数据出错或丢失损坏时，通过备份获取恢复数据。
51.进一步地，所述系统还可以包括：可视化监控模块，用于对系统的模块及模块间的状态进行监控，并可视化展示。通过可视化展示系统状态，可以进一步提升数据管理效率，方便对系统进行实时了解。
52.进一步地，所述管理模块，还可以用于：数据备份、数据加密、数据压缩、数据检测恢复和系统可视化监控。
53.可见，本发明提供的一种云存储数据索引管理系统，包括：访问模块，用于访问系统客户端，获取所述客户端中的云存储服务；应用接口模块，用于提供与外部连接的服务接口；管理模块，用于实现系统的集群管理与控制；存储模块，用于存储用户上传或待下载的数据，其中，所述数据由所述管理模块根据以下方法进行索引管理：确定所述数据的数据类型；计算所述数据类型与系统应用场景的关联度；根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理，从而提高数据管理性能和索引查询效率。
54.本技术的又一实施例提供了数据的索引管理装置，如图3所示，所述装置包括：
55.确定单元301，确定所述数据的数据类型；
56.计算单元302，计算所述数据类型与系统应用场景的关联度；
57.管理单元303，根据所述数据类型与系统应用场景的关联度，将所述数据进行存储
与管理。
58.可见，本发明提供的一种云存储数据索引管理系统，包括：访问模块，用于访问系统客户端，获取所述客户端中的云存储服务；应用接口模块，用于提供与外部连接的服务接口；管理模块，用于实现系统的集群管理与控制；存储模块，用于存储用户上传或待下载的数据，其中，所述数据由所述管理模块根据以下方法进行索引管理：确定所述数据的数据类型；计算所述数据类型与系统应用场景的关联度；根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理，从而提高数据管理性能和索引查询效率。
59.下面以运行在计算机终端上为例对其进行详细说明。图4为本发明实施例提供的一种数据的索引管理方法的计算机终端的硬件结构框图。如图4所示，计算机终端可以包括一个或多个(图4中仅示出一个)处理器402(处理器402可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器404，可选地，上述计算机终端还可以包括用于通信功能的传输装置406以及输入输出设备408。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。
60.存储器404可用于存储应用软件的软件程序以及模块，如本技术实施例中的数据的索引管理方法对应的程序指令/模块，处理器402通过运行存储在存储器404内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器404可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器404可进一步包括相对于处理器402远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
61.传输装置406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置406包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置406可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
62.本发明实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
63.具体的，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
64.s1，确定所述数据的数据类型；
65.s2，计算所述数据类型与系统应用场景的关联度；
66.s3，根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理。
67.具体的，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
68.可见，本发明提供的一种云存储数据索引管理系统，包括：访问模块，用于访问系统客户端，获取所述客户端中的云存储服务；应用接口模块，用于提供与外部连接的服务接口；管理模块，用于实现系统的集群管理与控制；存储模块，用于存储用户上传或待下载的
数据，其中，所述数据由所述管理模块根据以下方法进行索引管理：确定所述数据的数据类型；计算所述数据类型与系统应用场景的关联度；根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理，从而提高数据管理性能和索引查询效率。
69.本发明实施例还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
70.具体的，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
71.具体的，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
72.s1，确定所述数据的数据类型；
73.s2，计算所述数据类型与系统应用场景的关联度；
74.s3，根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理。
75.具体的，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
76.可见，本发明提供的一种云存储数据索引管理系统，包括：访问模块，用于访问系统客户端，获取所述客户端中的云存储服务；应用接口模块，用于提供与外部连接的服务接口；管理模块，用于实现系统的集群管理与控制；存储模块，用于存储用户上传或待下载的数据，其中，所述数据由所述管理模块根据以下方法进行索引管理：确定所述数据的数据类型；计算所述数据类型与系统应用场景的关联度；根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理，从而提高数据管理性能和索引查询效率。
77.以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

技术特征：
1.一种云存储数据索引管理系统，其特征在于，所述系统包括：访问模块，用于访问系统客户端，获取所述客户端中的云存储服务；应用接口模块，用于提供与外部连接的服务接口；管理模块，用于实现系统的集群管理与控制；存储模块，用于存储用户上传或待下载的数据，其中，所述数据由所述管理模块根据以下方法进行索引管理：确定所述数据的数据类型；计算所述数据类型与系统应用场景的关联度；根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理。2.根据权利要求1所述的系统，其特征在于，所述确定所述数据的数据类型，包括：根据预设类型划分规则，对所述数据进行划分数据类型；提取所述数据的数据特征，将所述数据特征与所述数据类型发送至所述管理模块中的控制服务器存储。3.根据权利要求2所述的系统，其特征在于，所述计算所述数据类型与系统应用场景的关联度，包括：根据系统应用场景与数据类型的预设映射规则，计算所述数据类型与所述系统应用场景的数据关联度；根据所述数据关联度，对所述数据进行标签化处理和索引值设置，得到所述数据的数据标签和索引值，并将所述数据标签和索引值发送至所述控制服务器存储。4.根据权利要求3所述的系统，其特征在于，所述根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理，包括：将所述数据关联度与预设阈值进行比较，根据比较结果设置存储规则；根据所述存储分配规则，将所述数据存储到所述存储模块的各存储设备中，并给所述存储设备分配对应的网络资源。5.根据权利要求1所述的系统，其特征在于，所述系统还包括：备份模块，用于根据预设备份规则备份所述存储模块存储的数据。6.根据权利要求1所述的系统，其特征在于，所述系统还包括：存储加密模块，用于对所述存储模块存储的数据根据预设加密规则进行加密。7.根据权利要求1所述的系统，其特征在于，所述系统还包括：数据压缩模块，用于对数据进行压缩，以及对重复的数据进行删除。8.根据权利要求1所述的系统，其特征在于，所述系统还包括：数据检测恢复模块，用于对所述数据进行错误检测，以及对数据进行恢复。9.根据权利要求1所述的系统，其特征在于，所述系统还包括：可视化监控模块，用于对系统的模块及模块间的状态进行监控，并可视化展示。10.根据权利要求5-9任一项所述的系统，其特征在于，所述管理模块，还用于：数据备份、数据加密、数据压缩、数据检测恢复和系统可视化监控。

技术总结
本发明公开了一种云存储数据索引管理系统，所述系统包括：访问模块，用于访问系统客户端，获取所述客户端中的云存储服务；应用接口模块，用于提供与外部连接的服务接口；管理模块，用于实现系统的集群管理与控制；存储模块，用于存储用户上传或待下载的数据，其中，所述数据由所述管理模块根据以下方法进行索引管理：确定所述数据的数据类型；计算所述数据类型与系统应用场景的关联度；根据所述数据类型与系统应用场景的关联度，将所述数据进行存储与管理。利用本发明实施例，能够提高数据管理性能和索引查询效率。性能和索引查询效率。性能和索引查询效率。


技术研发人员：高欣 褚海青 周洪印 张茏
受保护的技术使用者：杭州瑞网广通信息技术有限公司
技术研发日：2021.12.13
技术公布日：2022/3/8