一、技术领域

本发明属于医疗器械技术领域，具体涉及智能看护技术，尤其是一种基于视觉与意念信号协同控制的机器人看护系统。

二、背景技术

正如工业、制造业正迫不及待地寻求自动化方式，机器人也已被视为“拯救”失能人士的希望。近年来，人工智能在深度学习算法的突破下迎来了新一轮产品应用热潮。在我国面临的医疗资源供给不足、分布严重不均衡的背景下，人工智能在医疗健康各细分领域纷纷落地，覆盖全产业链各应用场景。随着市场需求正变得迫切，护理机器人势必将成为服务机器人全面市场化的急先锋。

同时随着国家的发展，社会逐步进入老龄化，医疗、护理和康复的需求增加，由于国内医疗系统医患比例严重失衡。病房中很多移动困难，没有自主能力的病人都需要专门的护工人员进行看护工作：喂水喂药等；这样既造成了护工人员上的供不应求，也难以完全照顾到每个病人的基本需求。

目前的智能看护系统尚不能实现看护设备的自主看护，必须需要专门的看护人员来执行看护工作，不能有效的解放看护人员，解决看护人员紧张的局面。

三、发明内容

针对现有技术存在的问题，本发明提供了一种基于视觉与意念信号协同控制的机器人看护系统，通过提取人脑意念信号并结合机器学习，以达到弱监督学习效果的智能护理功能；解决了医患双方的共同需求，解放医院的人力资源，提高医院护理的工作效率。

基于视觉与意念信号协同控制的机器人看护系统，其特征在于，包括：头戴式脑电波采集装置、Kinect相机、显示器、机械手臂、意念信号处理模块、图像处理模块、人脸鼠标控制模块和机械臂控制模块；

所述意念信号处理模块，用于实时采集看护对象的脑波信号及眨眼肌电信号，提取脑波信号中专注度值，并判断看护人员是否处于专注状态；

所述图像处理模块，用于实时采集处理RGB图像与深度图像，提取人脸关键点，识别嘴部张合状态，确定嘴部二维坐标和嘴部关键点深度；

所述人脸鼠标控制模块，对象基于鼻尖移动来控制液晶显示屏上的鼠标指针，实现所需物品的选择，并利用意念信号处理模块检测的眨眼肌电信号判定是否眨眼来物品选定；

所述机械臂控制模块，基于意念信号处理模块判定的看护人员的专注状态激活机械手臂动作并根据人脸鼠标控制模块的所选定的物品实施抓取动作，根据所述图像处理模块处理得到的嘴部二维坐标和嘴部关键点深度所确定的三维坐标将物品送至看护对象嘴巴。

四、本发明的优点

1.本发明利用意念信号作为启动信号，利用视觉反馈以确保系统运行精度，RGB图像与深度图像相结合，实时捕捉人脸并输出嘴部数据，相较于现有的护理机器人系统整体精确度更高。

2.本发明所使用的人脸鼠标技术，为患者提供了极大的便利，患者只需移动鼻尖控制鼠标选择自己所需的物品，体现了人性化、智能化的特点。

3.本发明能够根据被看护人员的自主意识和需求，实现自主完成食用物品的取送与喂食，能够一定程度上减轻看护人员的工作强度，解放看护人员，解决看护人员紧张的问题。

4.目前通过意念操纵的服务机器人大多基于脑机接口技术，然而为获得更为准确的“意念”，对硬件的要求过高，造价昂贵且短时间内难以普及，本发明只需要低成本的脑波头戴，训练专注度即可，操作简单，利于市场普及。