信息处理系统、计算机可读介质、读取装置及信息处理方法与流程

1.本公开涉及信息处理系统、计算机可读介质、读取装置及信息处理方法。


背景技术：

2.在日本特开2018-116536号公报中公开有一种信息分析系统，该信息分析系统由分析装置对读取装置所读取到的数据进行分析，使从分析装置中接收到的插图和文本数据中的至少一部分按照每个发票依次显示于显示装置。
3.在日本特开2019-145981号公报中公开有一种处理，所述处理获取作为处理对象的1个或多个对象图像，关于每个对象图像，从多个服务中选出作为适合适用的服务的优选服务。


技术实现要素：

4.通过进行发票等记录介质的读取并对通过该读取得到的图像进行分析，能够进行各记录介质中所记载的信息的获取。
5.在此，关于是否恰当地进行信息的获取的确认，例如能够通过用户自身参照记录介质的读取结果来进行。然而，在该情况下，需要按照每个记录介质进行该确认，当记录介质的数量多时，用户的作业负担就会变大。
6.本公开的目的在于，与需要用户自身参照记录介质的读取结果来确认是否恰当地进行读取的情况相比，减轻进行多张记录介质的读取来获取各记录介质中所记载的信息时的用户的作业负担。
7.根据本公开的第1方案，提供一种信息处理系统，其具有处理器，所述处理器从通过读取多张记录介质而得到的读取图像中获取记载信息，所述读取图像包含多个作为表示该记录介质中的各个记录介质的图像的介质图像，所述记载信息是记载于该记录介质中的各个记录介质的信息，输出与未能进行记载信息的获取的所述记录介质和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的所述记录介质有关的信息。
8.根据本公开的第2方案，所述处理器输出与未能进行记载信息的获取的所述记录介质中的尝试过记载信息的获取的部位有关的信息，输出与所述获取记载信息不满足所述预先规定的条件的所述记录介质中的该获取记载信息所在的部位有关的信息。
9.根据本公开的第3方案，所述处理器将与未能进行记载信息的获取的所述记录介质有关的信息输出到进行了所述多张记录介质的读取的读取装置，将与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的信息输出到所述读取装置。
10.根据本公开的第4方案，与未能进行记载信息的获取的所述记录介质有关的所述信息显示于所述读取装置，与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的信息显示于所述读取装置。
11.根据本公开的第5方案，作为与未能进行记载信息的获取的所述记录介质有关的所述信息，所述处理器将表示该记录介质的所述介质图像输出到所述读取装置，作为与所
述获取记载信息不满足所述预先规定的条件的所述记录介质有关的所述信息，所述处理器将表示该记录介质的所述介质图像输出到所述读取装置。
12.根据本公开的第6方案，所述介质图像显示于所述读取装置。
13.根据本公开的第7方案，在所述读取装置中显示有用于用户输入未能进行记载信息的获取的所述记录介质中所记载的信息的画面，在所述读取装置中显示有用于用户输入所述获取记载信息不满足所述预先规定的条件的所述记录介质中所记载的信息的画面。
14.根据本公开的第8方案，所述信息处理系统被构成为通过与进行了所述多张记录介质的读取的读取装置不同的其他读取装置进行未能进行记载信息的获取的所述记录介质的读取，该信息处理系统被构成为通过所述其他读取装置进行所述获取记载信息不满足所述预先规定的条件的所述记录介质的读取，所述处理器还获取通过对由所述其他读取装置读取未能进行记载信息的获取的所述记录介质而得到的读取结果进行分析而得到的信息，所述处理器还获取通过对由所述其他读取装置读取所述获取记载信息不满足所述预先规定的条件的所述记录介质而得到的读取结果进行分析而得到的信息。
15.根据本公开的第9方案，所述其他读取装置是能够以所述读取装置的读取分辨率高的读取分辨率进行读取的读取装置。
16.根据本公开的第10方案，所述处理器将与未能进行记载信息的获取的所述记录介质有关的信息输出至与进行了所述多张记录介质的读取的读取装置不同的其他读取装置，将与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的信息输出至所述其他读取装置。
17.根据本公开的第11方案，所述其他读取装置是能够以比所述读取装置的读取分辨率高的读取分辨率进行读取的读取装置。
18.根据本公开的第12方案，在所述其他读取装置中显示有用于用户输入未能进行记载信息的获取的所述记录介质中所记载的信息的画面，在所述其他读取装置中显示有用于用户输入所述获取记载信息不满足所述预先规定的条件的所述记录介质中所记载的信息的画面。
19.根据本公开的第13方案，所述处理器将与未能进行记载信息的获取的所述记录介质有关的信息输出到具有摄像机的可移动型的终端装置，所述终端装置是与进行了所述多张记录介质的读取的读取装置不同的装置，将与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的信息输出到具有摄像机的可移动型的所述终端装置。
20.根据本公开的第14方案，提供一种计算机可读介质，其存储有使计算机执行处理的程序，其中，所述处理具有如下工序：从通过读取多张记录介质而得到的读取图像中获取记载信息，所述读取图像包含多个作为表示该记录介质中的各个记录介质的图像的介质图像，所述记载信息是记载于该记录介质中的各个记录介质的信息；以及输出与未能进行记载信息的获取的所述记录介质和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的所述记录介质有关的信息。
21.根据本公开的第15方案，提供一种读取装置，其具有：读取单元，其能够进行记载有信息的多张记录介质的读取，该读取单元进行如下的所述多张记录介质的读取，在所述多张记录介质的读取中，按照每个该记录介质进行作为所记载的该信息的记载信息的获取；以及显示部，其显示与由所述读取单元进行了读取的所述多张记录介质中的如下的记
录介质有关的信息，所述记录介质是：未能进行记载信息的获取的记录介质；和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的记录介质。
22.根据本公开的第16方案，提供一种信息处理方法，其中，在该信息处理方法中进行以下处理：从通过读取多张记录介质而得到的读取图像中获取记载信息，所述读取图像包含多个作为分别表示该记录介质中的各个记录介质的图像的介质图像，所述记载信息是记载于该记录介质中的各个记录介质的信息，输出与未能进行记载信息的获取的所述记录介质和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的所述记录介质有关的信息。
23.(效果)
24.根据所述第1或第16方案，与需要用户自身参照记录介质的读取结果来确认是否恰当地进行读取的情况相比，能够减轻进行多张记录介质的读取来获取各记录介质中所记载的信息时的用户的作业负担。
25.根据所述第2方案，能够将与未能进行记载信息的获取的记录介质中的尝试过记载信息的获取的部位有关的信息通知给用户，并且能够将与获取记载信息不满足预先规定的条件的记录介质中的获取记载信息所在的部位有关的信息通知给用户。
26.根据所述第3方案，能够将与多张记录介质中的未能进行记载信息的获取的记录介质有关的信息或者与多张记录介质中的获取记载信息不满足预先规定的条件的记录介质有关的信息提供给进行了该多张记录介质的读取的读取装置。
27.根据所述第4方案，能够将与多张记录介质中的未能进行记载信息的获取的记录介质有关的信息或者与多张记录介质中的获取记载信息不满足预先规定的条件的记录介质有关的信息，经由进行了该多张记录介质的读取的读取装置而通知给用户。
28.根据所述第5方案，能够将表示未能进行记载信息的获取的记录介质的介质图像或表示获取记载信息不满足预先规定的条件的记录介质的介质图像提供给进行了该记录介质的读取的读取装置。
29.根据所述第6方案，能够将表示未能进行记载信息的获取的记录介质的介质图像或表示获取记载信息不满足预先规定的条件的记录介质的介质图像，经由进行了该记录介质的读取的读取装置而通知给用户。
30.根据所述第7方案，能够获取未能进行记载信息的获取的记录介质中所记载的信息，并能够获取在获取记载信息不满足预先规定的条件的记录介质中记载的信息。
31.根据所述第8方案，与以下两种情况相比能够提高获取准确的记载信息的可能性，所述两种情况分别是：获取通过对读取结果进行分析而得到的信息的情况，所述读取结果通过再次使用进行了未能进行记载信息的获取的记录介质的读取的读取装置而得到；或者获取通过对读取结果进行分析而得到的信息的情况，所述读取结果通过再次使用进行了记载信息不满足预先规定的条件的记录介质的读取的读取装置而得到。
32.根据所述第9方案，与其他读取装置是以比读取装置的读取分辨率低的读取分辨率进行读取的装置的情况相比，能够提高获取准确的记载信息的可能性。
33.根据所述第10方案，能够将与多张记录介质中的未能进行记载信息的获取的记录介质有关的信息或者与多张记录介质中的获取记载信息不满足预先规定的条件的记录介质有关的信息提供给与进行了该多张记录介质的读取的读取装置不同的其他读取装置。
34.根据所述第11方案，能够将与多张记录介质中的未能进行记载信息的获取的记录介质有关的信息或者与多张记录介质中的获取记载信息不满足预先规定的条件的记录介质有关的信息提供给与进行了该多张记录介质的读取的读取装置不同的其他读取装置，所述其他读取装置能够以比该读取装置的读取分辨率高的读取分辨率进行读取。
35.根据所述第12方案，用户能够经由其他读取装置而输入未能进行记载信息的获取的记录介质中所记载的信息，并且能够输入获取记载信息不满足预先规定的条件的记录介质中所记载的信息。
36.根据所述第13方案，能够将与多张记录介质中的未能进行记载信息的获取的记录介质有关的信息或者与多张记录介质中的获取记载信息不满足预先规定的条件的记录介质有关的信息提供给具有摄像机的可移动型的终端装置，所述终端装置与进行了该多张记录介质的读取的读取装置不同。
37.根据所述第14方案，与需要用户自身参照记录介质的读取结果来确认是否恰当地进行读取的情况相比，能够减轻进行多张记录介质的读取来获取各记录介质中所记载的信息时的用户的作业负担。
38.根据所述第15方案，与需要用户自身参照记录介质的读取结果来确认是否恰当地进行读取的情况相比，能够减轻进行多张记录介质的读取来获取各记录介质中所记载的信息时的用户的作业负担。
附图说明
39.图1是示出信息处理系统的整体结构的图。
40.图2是示出管理服务器的硬件的结构的一例的图。
41.图3是示出用户终端的硬件的结构的一例的图。
42.图4是示出图像形成装置所具有的功能部的图。
43.图5是图像形成装置的主视图。
44.图6是示出由信息处理系统执行的处理的流程的时序图，是第1实施方式中的时序图。
45.图7是示出图像形成装置的显示部中的显示例的图。
46.图8是示出还使用用户终端进行关于发票的处理的情况下的处理的流程的图。
47.图9是示出用户终端中的显示例的图。
48.图10是示出图像形成装置的显示部中的显示例的图。
具体实施方式
49.以下，参照附图对本公开的实施方式进行说明。
50.图1是示出本实施方式所涉及的信息处理系统1的整体结构的图。
51.在信息处理系统1中设置有作为信息处理装置的一例的管理服务器300。而且，设置有被发送通过管理服务器300得到的信息的外部服务器400。而且，在该信息处理系统1中设置有各个用户所具有的用户终端500和具有图像的读取功能的图像形成装置600。
52.在图1中省略图示，但用户终端500、图像形成装置600分别设置有多台。
53.用户终端500例如由智能手机构成。此外，用户终端500只要是具有摄像机(摄影功
能、图像的读取功能)的装置，则可以是智能手机以外，还可以是具有摄像机的平板终端或具有通信功能的摄像机或具有摄像机以及通信功能的游戏机等。
54.在本实施方式中，用户终端500、图像形成装置600以及管理服务器300经由因特网线路等通信线路310而彼此连接。并且，管理服务器300和外部服务器400也经由因特网线路等通信线路320而彼此连接。
55.图2是示出管理服务器300的硬件的结构的一例的图。
56.管理服务器300具有：对装置整体的动作进行控制的控制单元101；作为存储信息的信息存储装置的一例的硬盘驱动器102；以及实现经由lan(＝local area network)电缆等的通信的网络接口103。
57.控制单元101具有：作为处理器的一例的cpu(＝central processing unit)111；存储有基本软件或bios(＝basic input output system)等的rom(＝read only memory)112；以及作为工作区使用的ram(＝random access memory)113。
58.cpu111也可以是多核。并且，rom112也可以是可改写的非易失性半导体存储器。控制单元101是所谓的计算机。
59.在本实施方式中，cpu111通过执行rom112等中存储的程序来执行后述的处理。
60.硬盘驱动器102是在将磁性体涂布于圆盘状的基板表面的非易失性存储介质上读取和写入数据的装置。但是，非易失性存储介质也可以是半导体存储器或磁带。
61.此外，管理服务器300还根据需要而具有键盘、鼠标等输入设备、液晶显示器等显示设备。
62.控制单元101、硬盘驱动器102以及网络接口103通过总线104或未图示的信号线而连接。
63.在此，通过cpu111执行的程序能够以存储在磁记录介质(磁带、磁盘等)、光记录介质(光盘等)、光磁记录介质、半导体存储器等计算机可读取的记录介质中的状态提供到管理服务器300。
64.并且，通过cpu111执行的程序也可以使用因特网等通信手段提供到管理服务器300。
65.另外，在本实施方式中，处理器是指广义上的处理器，包含通用的处理器(例如cpu：central processing unit等)、专用的处理器(例如gpu：graphics processing unit、asic：application specific integrated circuit、fpga：field programmable gate array、可编程逻辑设备等)。
66.并且，处理器的动作不仅通过1个处理器完成，还可以由存在于物理上分离的位置的多个处理器协同工作来完成。并且，处理器的各动作的顺序并不仅限于本实施方式中记载的顺序，也可以变更。
67.在图1中示出了通过管理服务器300的cpu111实现的功能部。另外，在该图1中示出了与发票的读取相关的功能部。
68.如图1所示，管理服务器300具有发票登记部351、失败部位确定部352以及信息获取部353。
69.发票登记部351进行将从发票(后述)中得到的信息登记到外部服务器400的处理等与发票有关的处理。
70.失败部位确定部352确定发票中的记载信息的获取失败的部位。
71.信息获取部353具有图像分离部353a、图像旋转部353b以及ocr部353c，对通过读取多张发票(后述)而得到的图像进行分析，提取各发票中所包含的信息。
72.在此，发票登记部351、失败部位确定部352以及信息获取部353通过由管理服务器300的cpu111执行rom112等中存储的程序而实现。另外，本实施方式的管理服务器300具有用于从发票中获取信息的插件，在本实施方式中通过该插件实现信息获取部353。
73.在本实施方式中，以下说明的管理服务器300所执行的各处理是由作为处理器的一例的cpu111进行的。换句话说，在本实施方式中，通过由作为处理器的一例的cpu111执行rom112等中存储的程序而执行以下说明的处理。
74.换句话说，在本实施方式中，通过由作为处理器的一例的cpu111执行rom112等中存储的程序，实现图1所示的发票登记部351、失败部位确定部352以及信息获取部353的各功能部。而且，在本实施方式中，通过这些各功能部执行以下说明的处理。
75.图3是示出用户终端500的硬件的结构的一例的图。图3所示的结构设想用户终端500为智能手机的情况。
76.用户终端500具有：对装置整体的动作进行控制的控制单元201；存储各种数据的存储卡202；依照无线通信的标准的各种通信接口203；触摸传感器等输入设备204；液晶显示器或有机el(＝electro luminescence)显示器等显示设备205；gps(＝global positioning system)传感器206；以及摄像机207。
77.控制单元201具有cpu211、存储有固件或bios等的rom212以及作为工作区使用的ram213。cpu211也可以是多核。并且，rom212也可以是可改写的非易失性半导体存储器。
78.通信接口203例如是在与移动通信系统之间的连接中使用的接口以及在与无线lan之间的连接中使用的接口。
79.gps传感器206是接收来自gps卫星的电波而测量用户终端500的位置的传感器。从gps传感器206输出的纬度、经度以及高度的信息提供用户终端500的当前位置。另外，gps传感器206也可以与室内用的定位系统对应。
80.摄像机207由ccd(charge coupled device)或cmos(complementary metal oxide semiconductor)构成，进行位于用户终端500的周围的摄影对象物的摄影。
81.图4是示出图像形成装置600所具有的功能部的图。图5是图像形成装置600的主视图。
82.本实施方式的图像形成装置600具有读取发票等原稿上的图像的功能，本实施方式的图像形成装置600能够作为读取装置来掌握。
83.如图4所示，构成本实施方式的图像形成装置600的各功能部与总线601连接，并经由该总线601而进行数据的授受。
84.显示部606显示图像，将信息通知给操作图像形成装置600的操作者。如图5所示，显示部606形成为矩形状。该显示部606例如由液晶显示器或有机el显示器构成，将信息通知给操作图像形成装置600的用户。
85.操作接受部607(参照图4、图5)接受来自用户的操作。具体地说，操作接受部607接受用户对通过显示部606显示的显示内容的操作。
86.在此，显示部606以及操作接受部607例如由触摸面板方式的显示器构成，显示部
606与操作接受部607以重叠的状态配置。
87.另外，在本实施方式中，对操作接受部607由触摸面板方式的显示器构成的情况进行了说明，但是操作接受部607也可以由鼠标等定点设备构成。
88.显示部606(参照图4)通过控制部660控制。而且，在本实施方式中，通过操作接受部607接受用户对显示部606中的显示内容的操作。
89.而且，在本实施方式中，根据在操作接受部607中接受的用户的操作来执行与该操作对应的处理。
90.作为读取单元的一例的图像读取部608由所谓的扫描装置构成，读取所设定原稿上的图像，生成原稿的读取图像(图像数据)。在本实施方式中，如后述，通过图像读取部608读取多张发票。
91.图像形成部609例如使用电子照片方式将与图像数据相应的调色剂像形成于作为记录材料的一例的纸张。另外，在图像形成部609中，也可以使用喷墨头方式等其他方式进行图像形成。
92.通信部610与通信线路310(参照图1)连接，作为进行与管理服务器300之间的通信的通信接口发挥功能。
93.图像处理部611对图像数据所表示的图像实施颜色校正或灰度校正等图像处理。
94.存储部605由硬盘装置等构成，例如存储通过通信部610接收到的数据或通过图像读取部608生成的读取图像(图像数据)。
95.控制部660对图像形成装置600的各部分进行控制。控制部660由cpu(central processing unit)602、rom(read only memory)603、ram(random access memory)604构成。
96.rom603存储通过cpu602执行的程序。cpu602读取rom603中所存储的程序，将ram604作为作业区来执行程序。
97.在此，通过cpu602执行的程序能够以存储在磁记录介质(磁带、磁盘等)、光记录介质(光盘等)、光磁记录介质、半导体存储器等计算机可读取的记录介质中的状态提供到图像形成装置600。
98.并且，通过cpu602执行的程序也可以使用因特网等通信手段下载到图像形成装置600。
99.〔第1实施方式〕
100.图6是示出通过本实施方式的信息处理系统1执行的处理的流程的时序图，是第1实施方式中的时序图。
101.在本实施方式中，首先，作为多张记录介质的一例的多张发票被用户排列放置在图像形成装置600的图像读取部608(参照图4)。
102.接着，用户按压图像形成装置600中设置的启动按钮(未图示)，进行开始读取该多张发票的指示(步骤s101)。换句话说，用户进行开始读取多张发票中所记载的信息的指示。
103.由此，作为读取单元的一例的图像读取部608进行多张发票的读取(步骤s102)，得到读取图像。更具体地说，图像读取部608得到包含多个发票图像的读取图像，所述发票图像是表示发票中的各个发票的图像。
104.换句话说，表示发票中的各个发票的图像是介质图像的一例，图像读取部608得到
包含多个该介质图像的读取图像。
105.之后，在本实施方式中，通过管理服务器300发送读取图像，管理服务器300获取该读取图像。
106.接着，管理服务器300从读取图像中获取作为分别记载于各个发票的信息的记载信息。
107.具体地说，首先，发票登记部351从上述的读取图像中提取该读取图像中所包含的矩形形状的图像(以下称作“矩形图像”)(步骤s103)。
108.接着，信息获取部353的图像分离部353a从位于矩形图像的周围的其他图像中分离各个矩形图像(步骤s104)。接着，图像旋转部353b使各个矩形图像旋转，使各个矩形图像直立(步骤s105)。
109.接着，ocr部353c进行ocr(optical character recognition)处理(步骤s106)，获取直立的各个矩形图像中所包含的信息。
110.换句话说，ocr部353c获取作为直立的各个发票中所记载的信息的记载信息。
111.具体地说，ocr部353c例如获取日期、金额等发票中所记载的文字信息作为记载信息，该记载信息是记载于各个发票中的信息。在本实施方式中，按照每个发票进行作为记载于发票中的信息的记载信息的获取。
112.之后，在本实施方式中，信息获取部353以将各个发票的图像(直立状态的矩形图像)(以下称作“发票图像”)和从该发票图像中的各个发票图像中获取的上述的记载信息对应起来的状态进行输出。
113.另外，在本实施方式中，还有基于ocr部353c的记载信息的获取失败的情况，关于记载信息的获取失败的部位，信息获取部353利用预先规定的默认值进行补充。
114.换句话说，信息获取部353关于未能进行记载信息的获取的部位，将预先规定的默认值作为记载信息来输出。在该情况下，输出与实际的记载信息不同的记载信息。
115.更具体地说，有发票的印字淡的情况或者发票弯曲或折叠等不易进行发票的读取的情况。
116.在该情况下，产生无法进行记载信息的获取的情形，在该情况下，信息获取部353如上所述那样关于未能进行记载信息的获取的部位，利用预先规定的默认值进行信息的补充，并输出该默认值。
117.并且，在本实施方式中，失败部位确定部352提取基于ocr部353c的记载信息的获取失败的部位的图像(以下为“失败部位图像”)。然后，在本实施方式中，信息获取部353以与发票图像对应起来的状态输出所提取的该失败部位图像。
118.其结果是，在本实施方式中，从信息获取部353输出发票图像、记载信息以及失败部位图像(步骤s107)。
119.更具体地说，关于记载信息的获取失败的发票，从信息获取部353输出发票图像、记载信息以及失败部位图像。并且，关于记载信息的获取成功的发票，从信息获取部353输出发票图像和记载信息。
120.之后，在本实施方式中，发票登记部351判定ocr处理是否成功(步骤s108)。
121.更具体地说，发票登记部351例如判断从信息获取部353输出的信息中是否包含失败部位图像。
122.然后，在包含失败部位图像的情况下，发票登记部351判断为与成为得到该失败部位图像的基础的发票有关的ocr处理失败。
123.然后，在判断为ocr处理失败的情况下，换句话说，在判断为未能进行记载信息的获取的情况下，发票登记部351将与未能进行该记载信息的获取的发票有关的信息输出到图像形成装置600。
124.更具体地说，在该情况下，发票登记部351将与未能进行该记载信息的获取的发票有关的发票图像、记载信息(默认值)以及失败部位图像输出到图像形成装置600(步骤s109)。
125.在此，失败部位图像是与未能进行记载信息的获取的发票中的尝试过记载信息的获取的部位有关的信息的一例。在本实施方式中，发票登记部351将与尝试过记载信息的获取的部位有关的信息输出到图像形成装置600。
126.在此，该图像形成装置600是进行成为记载信息的获取对象的上述多张发票的读取的图像形成装置600。在本实施方式中，将失败部位图像等信息输出到进行发票的读取的该图像形成装置600。
127.并且，在本实施方式中，发票图像和记载信息也与该失败部位图像一同发送到图像形成装置600。
128.即，在本实施方式中，作为与未能进行记载信息的获取的发票有关的信息，除了输出失败部位图像之外，还输出发票图像和记载信息。
129.作为介质图像的一例的该发票图像是表示发票整体的图像。并且，如上所述，该情况下的记载信息是预先规定为默认的值。
130.之后，在本实施方式中，在图像形成装置600的显示部606(参照图4、图5)中显示与未能进行记载信息的获取的上述发票有关的信息(步骤s110)。
131.具体地说，在本实施方式中，在显示部606中显示发票图像、记载信息以及失败部位图像作为与未能进行记载信息的获取的发票有关的信息。
132.图7是示出图像形成装置600的显示部606中的显示例的图。
133.如上所述，在本实施方式的显示部606中显示有发票图像g1、记载信息g2以及失败部位图像g3。
134.在此，发票图像g1是通过由图像形成装置600读取发票而得到的读取图像，如上所述，是表示发票整体的图像。
135.并且，在本实施方式中，符号7a所示的图像表示失败部位图像g3，该失败部位图像g3表示发票中的未能进行记载信息g2(实际准确的记载信息g2)的获取的部位。
136.在此，图7中显示的记载信息g2部分不是插图图像，而是通过ocr部353c得到的文本信息或者通过上述补充而得到的默认值。
137.更具体地说，在该例中，记载信息g2中的“总计”、“收领日”、
“●
月
×
日”这样的信息为通过ocr部353c得到的文本信息。并且，在该例中，记载信息g2中的“￥10，000”这一信息为通过上述补充而得到的默认值。
138.在该例中，在失败部位图像g3的显示部位显示有通过利用默认值进行补充而得到的记载信息g2。
139.具体地说，在该例中，在失败部位图像g3的显示部位显示有作为金额信息的一例
的“总计”以及作为日期信息的一例的“收领日”，但是在该例中，显示于总计部分的“￥10，000”这一金额不是准确的值，而是如上所述那样的默认值。
140.另外，在本实施方式中，以利用默认值进行补充并显示默认值的情况为一例进行了说明，但是也可以不显示该默认值，将显示默认值的部位设为空白栏。
141.而且，在显示部606中显示有用于用户输入发票中所记载的信息的画面g4(以下为“输入用画面g4”)作为画面的一部分。
142.换句话说，在图像形成装置600的显示部606中显示有用于用户输入准确的记载信息g2的输入用画面g4。
143.在本实施方式中，由用户操作该输入用画面g4，由用户进行发票中所记载的准确的记载信息的输入(参照图6的步骤s111)。换句话说，在本实施方式中，由用户修正通过管理服务器300得到的上述默认值。
144.具体地说，在该例中，如上所述，金额有错误，用户对显示部606进行操作而输入与准确的金额有关的信息。
145.另外，在图7所示的画面上进行与未能进行记载信息g2的获取的3张发票中的第1张发票有关的显示。
146.更具体地说，在本实施方式中，例示了在3张发票中未能进行记载信息g2的获取的情况，在图7所示的画面上进行与未能进行记载信息g2的获取的3张发票中的第1张发票有关的显示。
147.若用户关于第1张发票输入与准确的金额有关的信息，则选择图7的符号7b所示的部分。由此，进行画面的切换，显示与第2张发票有关的信息。
148.然后，用户进行对显示部606的操作，输入与该第2张发票有关的准确信息。
149.之后，用户还选择图7的符号7b所示的部分。由此，还进行画面的切换，显示与第3张发票有关的信息。
150.然后，用户进行对显示部606的操作，输入与该第3张发票有关的准确信息。
151.之后，在本实施方式中，由用户通过图像形成装置600输入的输入信息发送到管理服务器300(参照图6的步骤s112)，管理服务器300获取发送来的输入信息。换句话说，管理服务器300获取由用户输入的准确的记载信息g2。
152.然后，管理服务器300将错误的记载信息g2置换为该准确的记载信息g2。换句话说，管理服务器300将上述默认值置换为该准确的记载信息g2。
153.之后，在本实施方式中，管理服务器300的发票登记部351将关于多张发票中的各个发票得到的发票图像g1以及记载信息g2(反映准确的记载信息g2之后的记载信息g2)发送到外部服务器400(参照图6的步骤s113)。
154.由此，关于多张发票中的各个发票得到的发票图像g1以及记载信息g2登记在外部服务器400中。
155.在将记载信息g2发送到外部服务器400时，关于最初准确地获取记载信息g2的发票，该记载信息g2发送到外部服务器400。
156.并且，关于从默认值置换为准确的记载信息g2的发票，该准确的记载信息g2被发送至外部服务器400。
157.另外，上述中，对在图像形成装置600的显示部606中显示失败部位图像g3作为与
尝试过记载信息g2的获取的部位有关的信息的一例的情况进行了说明。
158.然而，与尝试过记载信息g2的获取的部位有关的信息并不限于该失败部位图像g3。
159.作为与尝试过记载信息g2的获取的部位有关的信息，此外例如可以列举“未能进行标题为〇〇的发票的金额栏的读取。”这一信息。
160.并且，此外例如可以列举“未能进行排列设定的发票中的从上数第3个发票的日期栏的读取。”这一信息。
161.作为与尝试过记载信息g2的获取的部位有关的信息，并不限于诸如失败部位图像g3的图像信息，也可以是这样的文字信息。
162.在此，是否成功读取各个发票的判断例如还能够通过将读取结果通知给用户并由用户判断来进行。然而，在该情况下，需要用户关于所有发票判断成功与否，费功夫。
163.与此相对，在本实施方式中，在确定读取失败的部位之后，通知给用户。由此，用户无需判断与所有发票有关的成功与否，减轻用户的负担。
164.并且，在本实施方式中，用户能够经由图像形成装置600而进行准确信息的输入，由此也能够减轻用户的作业负担。
165.在此，还考虑用户将未能进行记载信息g2的获取的发票再次放置在图像形成装置600上并进行记载信息g2的再次获取的方式。然而，在该情况下，需要从多张发票中选择成为对象的发票之后，放置在图像形成装置600上。
166.与此相对，在本实施方式中，无需将发票再次放置在图像形成装置600便能够进行记载信息g2的获取，减轻用户的作业负担。
167.〔第2实施方式〕
168.上述中，对使用图像形成装置600和管理服务器300进行关于发票的处理的情况进行了说明。
169.关于发票的处理并不限于图像形成装置600、管理服务器300，也可以使用这些装置以外的装置进行。
170.图8是示出还使用用户终端500进行关于发票的处理的情况下的处理的流程的图。
171.图8所示的处理中的步骤s201～步骤s208的处理与上述的图6所示的处理中的步骤s101～步骤s108的处理相同。
172.以下，对步骤s209以后的处理进行说明。并且，与上述同样地，以下对3张发票中的记载信息2的获取失败的情况下的处理进行说明。
173.与上述同样地，在步骤s209的处理中，从管理服务器300向图像形成装置600输出发票图像g1、记载信息g2以及失败部位图像g3。
174.由此，与上述同样地，在图像形成装置600的显示部606中显示图7所示的画面。即，在显示部606中显示与未能进行记载信息2的获取的发票有关的信息(步骤s210)。
175.接着，在该处理例中，由用户选择图7的画面上显示的“用移动设备再次扫描”这一选择用按钮800。
176.若选择用按钮800被选择，则在作为其他读取装置的一例的用户终端500中显示图9(示出用户终端500中的显示例的图)所示的画面。
177.更具体地说，若选择用按钮800被选择，则预先存储于用户终端500中的应用程序
被启动，显示图9所示的画面。
178.在该画面上显示有用于读取发票的说明。在该显示例中，在多个行上显示说明。并且，在该显示例中，在多个行的一部分进行“请近拍拍摄失败部位的部分。”这一显示。
179.然后，用户操作用户终端500，目视查找与图7中显示的第1张发票的发票图像g1对应的第1张发票的实物，在此基础上，使用用户终端500的摄像机207(参照图3)读取该第1张发票的实物。
180.更具体地说，用户使用摄像机207近拍拍摄第1张发票的实物中的作为失败部位图像g3显示的部分(图8的步骤s211)。
181.在本实施方式中，用户终端500是具有摄像机207的可移动型的终端装置，在本实施方式中，通过该可移动型的终端装置拍摄第1张发票的实物。
182.并且，用户终端500是能够以比设置于图像形成装置600的图像读取部608的读取分辨率高的分辨率进行读取的读取装置。
183.在本实施方式中，通过读取分辨率比图像形成装置600的图像读取部608的读取分辨率高的用户终端500读取第1张发票的实物。
184.近年来，还存在读取分辨率比设置于图像形成装置600的图像读取部608的读取分辨率高的智能手机等。
185.在本实施方式中，通过使用由智能手机等构成的用户终端500，能够以读取分辨率比图像形成装置600的图像读取部608的读取分辨率高的状态读取第1张发票的实物。
186.并且，用户终端500能够进行近拍，换句话说，用户终端500能够进行放大摄影对象物之后的摄影，在本实施方式中，用户将失败部位(第1张发票的实物中的作为失败部位图像g3显示的部分)以放大的状态进行拍摄。
187.根据以上，在该实施方式中，以比图像形成装置600的读取分辨率高的分辨率拍摄图7中显示的发票图像g1所表示的第1张发票的实物中的作为失败部位图像g3显示的部分。
188.而且，在该实施方式中，作为失败部位图像g3显示的该部分以放大的状态被拍摄。
189.另外，如上所述，在图7中进行与未能进行记载信息g2的获取的3张发票中的第1张发票有关的显示，若用户操作用户终端500而进行第1张发票的实物的摄影，则选择图7的符号7b所示的部分。
190.由此，进行画面的切换，在显示部606中显示关于第2张发票的信息。
191.然后，用户操作用户终端500而进行第2张发票的实物的摄影。更具体地说，用户近拍拍摄第2张发票中的通过失败部位图像g3确定的部分。
192.同样地，若用户结束第2张发票的实物的摄影，则用户选择图7的符号7b所示的部分，进行画面的切换。
193.由此，显示关于第3张发票的信息。然后，用户操作用户终端500而进行第3张发票的实物的摄影。更具体地说，与上述同样地，用户近拍拍摄该第3张发票中的通过失败部位图像g3确定的部分。
194.另外，在本实施方式中，以用户进行对显示部606的操作而手动进行画面的切换的情况为一例进行了说明，但是也可以每次由用户使用用户终端500进行摄影时，自动进行显示部606中的画面的切换。
195.然后，在本实施方式中，若关于3张发票的实物全部进行通过用户终端500的摄影，
则用户对通过用户终端500启动的应用程序进行预先规定的操作(图8的步骤s212)。
196.更具体地说，用户对根据通过用户终端500启动的应用程序显示的画面进行预先规定的操作。
197.由此，在本实施方式中，该应用程序对3张发票各自的摄影图像进行分析，获取该摄影图像中所包含的记载信息g2(步骤s213)。
198.换句话说，在本实施方式中，通过用户终端500对由该用户终端500的读取而得到的读取结果进行分析，所述用户终端500是与图像形成装置600不同的其他装置。然后，用户终端500获取通过该分析而得到的记载信息g2。
199.然后，在本实施方式中，若由用户按压图9的符号9a所示的“发送按钮”，则记载信息g2从用户终端500发送到管理服务器300(图8的步骤s214)。
200.由此，管理服务器300的发票登记部351获取通过用户终端500对上述的摄影图像进行分析而得到的记载信息g2。
201.之后，从通过用户终端500启动的上述应用程序向用户终端500输出表示完成处理的完成通知(步骤s215)。然后，从该用户终端500向用户输出表示完成处理的完成通知(步骤s216)。
202.之后，用户进行对图像形成装置600的显示部606的操作，按压该显示部606中显示的“信息的更新按钮(未图示)”，指示信息的更新(步骤s217)。
203.由此，图像形成装置600访问管理服务器300，获取通过用户终端500的上述读取而得到的记载信息g2(步骤s218)。
204.具体地说，图像形成装置600获取通过用户终端500的上述分析而得到并发送到管理服务器300的上述记载信息g2。
205.然后，该记载信息g2显示于图像形成装置600的显示部606。换句话说，通过使用用户终端500近拍发票的实物而得到的记载信息g2显示于图像形成装置600的显示部606(步骤s219)。
206.图10是示出图像形成装置600的显示部606中的显示例的图。
207.在该例中，在图像形成装置600的显示部606中显示通过用户终端500关于上述3张发票中的各个发票获取的记载信息g2。
208.在显示部606的该画面上依次按压符号10a所示的部位，由此进行画面的切换，显示由用户终端500关于3张发票中的各个发票获取到的记载信息g2。
209.然后，若有错误，则由用户操作符号10b所示的部位，由用户进行准确的记载信息g2的输入。然后，若最后按压确定按钮(未图示)(图8的步骤s220)，则从图像形成装置600向管理服务器300发送确定通知(步骤221)，确定分别从多张发票中获取到的记载信息g2。
210.在本实施方式中，在该确定之后，管理服务器300中所存储的记载信息g2发送到外部服务器400(步骤s222)。
211.在此，在本实施方式中，如图7所示，以将与未能进行记载信息g2的获取的发票有关的信息输出到进行了发票的读取的图像形成装置600的情况为一例进行了说明。
212.然而，并不限于此，与未能进行记载信息g2的获取的发票有关的信息也可以输出到作为与图像形成装置600不同的其他读取装置的一例的用户终端500。
213.在该情况下，在用户终端500中显示与图7所示的画面相同的画面。
214.另外，在用户终端500中显示与图7所示的画面相同的画面的情况下，有时以与图像形成装置600中的显示布局不同的显示布局进行画面的显示。
215.在此，在用户终端500中显示与图7所示的画面相同的画面的情况下，与上述同样地，在用户终端500中显示发票图像g1、记载信息g2以及失败部位图像g3。
216.换句话说，在将与图7所示的画面相同的画面显示于用户终端500时，与未能进行准确的记载信息g2的获取的发票有关的信息输出到用户终端500，与该发票有关的信息显示于用户终端500。
217.在此，与上述同样地，作为与未能进行记载信息g2的获取的发票有关的信息，在显示于用户终端500的画面上显示表示该发票整体的发票图像g1。
218.并且，与上述同样地，在显示于用户终端500的画面上显示与尝试过记载信息g2的获取的部位有关的信息。具体地说，作为与尝试过记载信息g2的获取的部位有关的信息，例如显示失败部位图像g3。
219.并且，与上述同样地，在显示于用户终端500的画面上显示用于用户输入发票中所记载的信息的输入用画面g4。
220.(其他)
221.上述中，对将与未能进行记载信息g2的获取的发票有关的信息输出到图像形成装置600或用户终端500的情况进行了说明。
222.然而，并不限于此，也可以将与从发票中获取到的记载信息g2(以下，有时称作“获取记载信息g2”)不满足预先规定的条件的发票有关的信息输出到图像形成装置600或用户终端500。
223.换句话说，也可以将与能够从发票中获取记载信息g2但该记载信息g2不满足预先规定的条件的发票有关的信息输出到图像形成装置600或用户终端500。
224.并且，还设想多张发票中包含未能进行记载信息g2的获取的发票以及所获取的记载信息g2不满足预先规定的条件的发票这两者的情况。
225.在该情况下，也可以将与未能进行记载信息g2的获取的发票有关的信息以及与所获取的记载信息g2不满足预先规定的条件的发票有关的信息这两者输出到图像形成装置600或用户终端500。
226.在此，在输出与所获取的记载信息g2不满足预先规定的条件的发票有关的信息时，与上述同样地，例如将发票图像g1、记载信息g2(利用默认值进行补充的记载信息g2)、失败部位图像g3(与所获取的记载信息g2所在的部位有关的信息)输出到图像形成装置600或用户终端500。
227.另外，关于记载信息g2，也可以将通过ocr部353c得到的记载信息g2其本身而不是利用默认值进行补充的记载信息g2输出到图像形成装置600或用户终端500。
228.并且，此外在输出与所获取的记载信息g2不满足预先规定的条件的发票有关的信息时，例如也可以将发票图像g1、失败部位图像g3输出到图像形成装置600或用户终端500。
229.在该情况下，在图像形成装置600或用户终端500中不显示记载信息g2，显示记载信息g2的部位成为空白栏。
230.并且，此时与上述同样地，在图像形成装置600或用户终端500中显示用于用户输入该发票中所记载的信息的输入用画面g4。
231.在此，所谓“未能进行记载信息g2的获取”是指尽管实际能够得到数值或字符串等信息还是没有得到该信息的状态。
232.例如，如图7所示，有时发票上标注“总计”或“收领日”等信息，但是在虽然得到了与该“总计”或“收领日”等相关的信息但无法从位于这些信息的旁边的部位中获取表示数字的信息的情况下，相当于“未能进行记载信息g2的获取”。
233.并且，所谓“所获取的记载信息g2不满足预先规定的条件”是指虽然获取到记载信息g2但是所获取的该记载信息g2不满足预先规定的条件的状态。
234.例如，在作为记载信息g2获取到数值的情况下，该数值的位数超过预先规定的设想位数的情况或比预先设想的位数小的情况相当于“所获取的记载信息g2不满足预先规定的条件”。
235.并且，例如在处于得到数值的状况下时实际得到数字以外的信息的情况也相当于“所获取的记载信息g2不满足预先规定的条件”。
236.并且，此外也可以进行机器学习而实现发票的读取精度的提高。
237.具体地说，也可以根据失败部位的图像和之后由用户输入的准确的信息依次进行机器学习来提高读取的精度。更具体地说，也可以每当由用户输入准确的信息时，根据失败部位的图像和该准确的信息进行机器学习来提高读取的精度。
238.更具体地说，在该情况下，根据机器学习的结果例如进行在读取发票时所使用的参数的变更来提高读取的精度。

技术特征：
1.一种信息处理系统，其具有处理器，所述处理器从通过读取多张记录介质而得到的读取图像中获取记载信息，所述读取图像包含多个作为表示该记录介质中的各个记录介质的图像的介质图像，所述记载信息是记载于该记录介质中的各个记录介质的信息，输出与未能进行记载信息的获取的所述记录介质和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的所述记录介质有关的信息。2.根据权利要求1所述的信息处理系统，其中，所述处理器输出与未能进行记载信息的获取的所述记录介质中的尝试过记载信息的获取的部位有关的信息，所述处理器输出与所述获取记载信息不满足所述预先规定的条件的所述记录介质中的该获取记载信息所在的部位有关的信息。3.根据权利要求1所述的信息处理系统，其中，所述处理器将与未能进行记载信息的获取的所述记录介质有关的信息输出到进行了所述多张记录介质的读取的读取装置，所述处理器将与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的信息输出到所述读取装置。4.根据权利要求3所述的信息处理系统，其中，与未能进行记载信息的获取的所述记录介质有关的所述信息显示于所述读取装置，与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的信息显示于所述读取装置。5.根据权利要求3所述的信息处理系统，其中，作为与未能进行记载信息的获取的所述记录介质有关的所述信息，所述处理器将表示该记录介质的所述介质图像输出到所述读取装置，作为与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的所述信息，所述处理器将表示该记录介质的所述介质图像输出到所述读取装置。6.根据权利要求5所述的信息处理系统，其中，所述介质图像显示于所述读取装置。7.根据权利要求3所述的信息处理系统，其中，在所述读取装置中显示有用于用户输入未能进行记载信息的获取的所述记录介质中所记载的信息的画面，在所述读取装置中显示有用于用户输入所述获取记载信息不满足所述预先规定的条件的所述记录介质中所记载的信息的画面。8.根据权利要求1所述的信息处理系统，其中，该信息处理系统被构成为通过与进行了所述多张记录介质的读取的读取装置不同的其他读取装置进行未能进行记载信息的获取的所述记录介质的读取，该信息处理系统被构成为通过所述其他读取装置进行所述获取记载信息不满足所述预先规定的条件的所述记录介质的读取，所述处理器还获取通过对由所述其他读取装置读取未能进行记载信息的获取的所述记录介质而得到的读取结果进行分析而得到的信息，
所述处理器还获取通过对由所述其他读取装置读取所述获取记载信息不满足所述预先规定的条件的所述记录介质而得到的读取结果进行分析而得到的信息。9.根据权利要求8所述的信息处理系统，其中，所述其他读取装置是能够以比所述读取装置的读取分辨率高的读取分辨率进行读取的读取装置。10.根据权利要求1所述的信息处理系统，其中，所述处理器将与未能进行记载信息的获取的所述记录介质有关的信息输出至与进行了所述多张记录介质的读取的读取装置不同的其他读取装置，将与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的信息输出至所述其他读取装置。11.根据权利要求10所述的信息处理系统，其中，所述其他读取装置是能够以比所述读取装置的读取分辨率高的读取分辨率进行读取的读取装置。12.根据权利要求10所述的信息处理系统，其中，在所述其他读取装置中显示有用于用户输入未能进行记载信息的获取的所述记录介质中所记载的信息的画面，在所述其他读取装置中显示有用于用户输入所述获取记载信息不满足所述预先规定的条件的所述记录介质中所记载的信息的画面。13.根据权利要求1所述的信息处理系统，其中，所述处理器将与未能进行记载信息的获取的所述记录介质有关的信息输出到具有摄像机的可移动型的终端装置，所述终端装置是与进行了所述多张记录介质的读取的读取装置不同的装置，所述处理器将与所述获取记载信息不满足所述预先规定的条件的所述记录介质有关的信息输出到具有摄像机的可移动型的所述终端装置。14.一种计算机可读介质，其存储有使计算机执行处理的程序，其中，所述处理具有如下工序：从通过读取多张记录介质而得到的读取图像中获取记载信息，所述读取图像包含多个作为表示该记录介质中的各个记录介质的图像的介质图像，所述记载信息是记载于该记录介质中的各个记录介质的信息；以及输出与未能进行记载信息的获取的所述记录介质和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的所述记录介质有关的信息。15.一种读取装置，其具有：读取单元，其能够进行记载有信息的多张记录介质的读取，该读取单元进行如下的所述多张记录介质的读取，在所述多张记录介质的读取中，按照每个该记录介质进行作为所记载的该信息的记载信息的获取；以及显示部，其显示与由所述读取单元进行了读取的所述多张记录介质中的如下的记录介质有关的信息，所述记录介质是：未能进行记载信息的获取的记录介质；和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的记录介质。16.一种信息处理方法，其中，在该信息处理方法中进行以下处理：
从通过读取多张记录介质而得到的读取图像中获取记载信息，所述读取图像包含多个作为表示该记录介质中的各个记录介质的图像的介质图像，所述记载信息是记载于该记录介质中的各个记录介质的信息；以及输出与未能进行记载信息的获取的所述记录介质和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的所述记录介质有关的信息。

技术总结
本发明提供信息处理系统、计算机可读介质、读取装置及信息处理方法。信息处理系统具有处理器，所述处理器从通过读取多张记录介质而得到的读取图像中获取记载信息，并输出与未能进行记载信息的获取的所述记录介质和/或作为所获取的记载信息的获取记载信息不满足预先规定的条件的所述记录介质有关的信息，所述读取图像包含多个作为表示该记录介质中的各个记录介质的图像的介质图像，所述记载信息是记载于该记录介质中的各个记录介质的信息。记载于该记录介质中的各个记录介质的信息。记载于该记录介质中的各个记录介质的信息。


技术研发人员：右田阳太郎
受保护的技术使用者：富士胶片商业创新有限公司
技术研发日：2021.02.07
技术公布日：2022/3/8