一种基于计算机视觉及多传感器融合的智能送药系统

1.本发明涉及一种基于计算机视觉及多传感器融合的智能送药系统，属于路径跟踪、智能车技术领域。


背景技术：

2.当今社会，老年人、残疾人等一些生活自理较困难的人在整个社会群体中占据重要的比例，他们的需求也越来越引起人们的重视。大多数病人在日常的生活中都需要经常服药，然而对于行动不便且家属又无法在身边长期照料的病人，目前市场上尚未出现集多种功能于一体的智能服药产品。


技术实现要素：

3.针对现有技术的不足，本发明提供一种基于计算机视觉及多传感器融合的智能送药系统。既方便了病人的日常服药问题，又减轻了监护人员的看护负担。
4.本发明技术方案如下：
5.一种基于计算机视觉及多传感器融合的智能送药系统，包括四轮差动底盘、上支座、stm32单片机最小控制系统、esp32通信模块、opencv计算机视觉及树莓派控制系统，其特征在于，所述四轮差动底盘上设置有stm32单片机最小系统板、车轮、网络摄像头模块及树莓派控制系统、霍尔编码器电机组、esp32模块、电机驱动电路板、锂电池供电电源、辅助电源、esp32通信模块，其中，所述stm32单片机最小控制系统分别与霍尔编码器电机组、电机驱动电路板、辅助电源相连接，所述霍尔编码器电机组包括4个直流有刷电机，电机尾端装有霍尔编码器，所述opencv计算机视觉及树莓派控制系统通过串口与stm32单片机最小系统板相连，把采集到的视觉信息处理完发送给stm32最小控制系统， stm32最小控制系统通过接收到的数据对小车路径进行控制，所述esp32模块和 stm32单片机最小系统连接，使系统的两辆小车可以进行数据和信息传输。
6.根据本发明，优选的，所述opencv计算机视觉及树莓派控制系统包括摄像头模块和树莓派，网络摄像头采集医院走廊的轨迹信息，通过串口发送给树莓派，树莓派通过图形学处理方式将被测轨迹进行视觉识别。
7.根据本发明，优选的，所述stm32最小控制系统包括stm32f103主控制器、 3.3v电源稳压芯片、8mhz晶振、下载电路。
8.根据本发明，优选的，所述车轮由4个轮子组成，每个车轮分别连接着直流有刷电机，直流电机的旋转带动着车轮的转动。
9.根据本发明，优选的，所述霍尔编码器电路板分别连接直流有刷电机和 stm32单片机最小系统，与电动机同轴安装，电动机旋转时，霍尔元件检测输出若干脉冲信号，进而对电机的速度进行检测。
10.根据本发明，优选的，所述电机驱动电路板采用两个l298n模块，每个模块分别驱动两个直流有刷电机。
附图说明
11.图1为本发明一种基于计算机视觉及多传感器融合的智能送药系统运行流程图；
12.图2为本发明一种基于计算机视觉及多传感器融合的智能送药系统连接关系示意图；
13.图3为本发明一种基于计算机视觉及多传感器融合的智能送药系统外观示意图。
14.其中：1为树莓派；2为网络摄像头模块；3为红外传感器模组；4为电机驱动电路模块；5为霍尔编码器电机组；6为esp32通信模块；7为stm32单片机最小系统；8为锂电池供电电源；9为辅助电源；10为车轮；11为下差动底盘；13为上支座；12为药箱模组。
具体实施方式
15.下面通过实施例并结合附图对本发明做进一步说明，但不限于此。
16.实施例1：
17.如图2、3所示，一种基于计算机视觉及多传感器融合的智能送药系统，包括差动底盘11、上支座13、药箱模组2、4个轮子10，所述差动底盘11上设置有stm32单片机最小系统7、锂电池供电电源8、辅助电源9、霍尔编码器电机组5、esp32通信模块6、电机驱动电路模块4、红外传感器模组3，所述上支座 13上设置有药箱模组12、网络摄像头2、树莓派1，所述药箱模组2包括一个储物药箱，药箱底部装有压力传感器，压力传感器与stm32单片机最小系统7 相连接，传送压力数据，检测药物存放情况。所述4个轮子10分别与直流有刷电机模组5相连接，通过电机的旋转带动轮子的旋转。
18.其中，所述霍尔编码器电机组5包括4个直流电机，每个直流电机末端装有霍尔编码器，负责检测电机的运行速度和位置。所述stm32单片机最小系统7 包括stm32f103rct6主控制器、8m晶振、j-link下载电路、3.3v稳压芯片。所述esp32通信模块6与stm32单片机最小系统7相连接，可以进行两辆小车之间的数据通信。所述红外传感器模组3与stm32单片机最小系统7相连接，其包括2组红外接收和发送传感器，用于检测障碍物的有无。所述电机驱动电路模块4与锂电池供电电源8、霍尔编码器电机组5、stm32单片机最小系统7相连接，其包括两个型号为l298n的驱动模块，每一个模块负责两个电机的驱动。所述网络摄像头2与树莓派1、辅助电源9相连接，负责对前方的路径和门房标志进行识别，当检测到目的地房间标识的时候，将信息发送给主控制器，主控制器控制执行转弯进门等操作。所述辅助电源9为5v输出的充电宝。
19.实施例2：
20.如图2所示，一种基于计算机视觉及多传感器融合的智能送药系统，其中，辅助电源9给网络摄像头2和树莓派1供电，锂电池供电电源8通过降压为直流有刷电机、电机驱动电路和电源管理模块供电，电源管理模块通过降压得到 5v电源，提供给esp32通信模块、压力传感器、红外传感器和stm32单片机最小系统。stm32单片机最小系统与电机驱动电路、esp32通信模块、压力传感器、红外传感器、霍尔编码器电机组、树莓派相连接。
21.实施例3：
22.如图1所示，一种基于计算机视觉及多传感器融合的智能送药系统运行流程，步骤如下，
23.(1)小车启动：首先医护人员将药物装进药物箱，小车上电，医护人员通过上位机
端发送房间信息给小车，小车根据房间信息，向目的地行驶，行驶过程中红外传感器负责检测前方障碍物，当遇到障碍物时，将信息反馈给主控制器，主控制器通过pwm通道控制电机停止运转，小车进行等待，等到障碍物消失，小车继续前进。
24.(2)对目标房间进行识别：小车行驶过程中，通过网络摄像头2对房间信息进行识别，网络摄像头2通过图像放别房间标识，将信息传递给树莓派1，树莓派1将数据发送给主控制器，当检测到目标房间时，主控制执行转弯进入房间动作，同时，护理人员可以通过上位机对视频数据实时监控。
25.(3)药物取出：当进入到目标房间时，医护人员会通过上位机接收命令，然后发送指令，药物箱打开，病人进行取药，当药物取出完毕，压力传感器数据进行相应的变化，当主控制器检测到压力的变化说明药物取出完毕，小车延时等待10s，然后进行掉头，小车按照原路线返回。


技术特征：
1.一种基于计算机视觉及多传感器融合的智能送药系统，所述系统包括stm32单片机最小系统、esp32通信模块、红外传感器、压力传感器、电机驱动电路、霍尔编码器电机组、树莓派控制系统、辅助电源、锂电池供电电源、电源管理模块，其中，所述stm32单片机最小系统板分别与树莓派控制系统、esp32通信模块、红外传感器模块、压力传感器模块、电机驱动电路、5v电源电路相连；所述霍尔编码器电路分别与stm32单片机最小系统板和供电电源电路、电源管理模块、直流无刷电机相连；所述树莓派控制系统包括树莓派、网络摄像头，树莓派和网络摄像头分别于辅助电源相连接。2.如权利要求1所述的一种基于计算机视觉及多传感器融合的智能送药系统，其特征在于，所述电机驱动电路包括两块l298n电机驱动电路板，每一块电机驱动板控制两个电机的转动。3.如权利要求1所述的一种基于计算机视觉及多传感器融合的智能送药系统，其特征在于，所述stm32单片机最小系统板的主控制芯片型号为stm32f103rct6。4.如权利要求1所述的一种基于计算机视觉及多传感器融合的智能送药系统，其特征在于，所述红外传感器模块用于检测医院走廊信息，当检测到前方有行人或障碍物的时候将信息发送给stm32主控制器，stm32主控制器控制车等待并对路径进行重新规划。5.如权利要求1所述的一种基于计算机视觉及多传感器融合的智能送药系统，其特征在于，所述树莓派控制系统包括树莓派和网络摄像头，其通过网络摄像头检测房间信息，通过串口发送给树莓派，树莓派通过图形学处理方式将被测房间信息进行视觉识别，stm32主控系统接受树莓派传输的信息对输出进行控制。

技术总结
本发明涉及一种基于计算机视觉及多传感器融合的智能送药系统。它包括树莓派及网络摄像头，霍尔编码器电机组，智能小车硬件组，ESP32模块和单片机控制回路。网络摄像头采集医院走廊的轨迹信息，通过串口发送给树莓派，树莓派通过图形学处理方式将被测红色轨迹进行视觉识别，以Stm32f103rct6单片机作为主控制器，接收传回的标识位置和轨迹信息，控制霍尔编码器电机组进行四驱闭环控制，压力传感器将人工取药信息反馈到单片机和人机交互界面，最后，ESP32模块通过WiFi通信实现双车组的互联协作。经测试，本系统具有良好性能，具有广阔的应用前景。的应用前景。的应用前景。


技术研发人员：袁臣虎 张赛 张丽娜
受保护的技术使用者：天津工业大学
技术研发日：2021.12.06
技术公布日：2022/3/8