一种基于AIOT的增强视觉-触觉感知的导盲装置

来源: 发布时间:2022-11-07 浏览次数:1154
基本信息

第一作者姓名:陈怡玮

性别:男

民族:汉族

第一作者学校:乌鲁木齐八一中学

第一作者人所在年级:高二

第一作者人所在年级:陈正治

性别:男

民族:汉族

第二作者人所在学校:乌鲁木齐八一中学

第二作者人所在年级:高二

辅导教师姓名:李天宇


作品摘要

*主要特征:

随着智慧交通的快速发展,出行越来越便捷了,畅通导航、无人驾驶、快速交通...但是对于视力障碍群体来说出行仍然有所限制,目前市场上导盲装置无法应对不断发展的智慧场景,给视障人群生活中带来了不便与潜在危险

*主要用途:

项目结合图像识别、语言合成、北斗导航、体感交互等技术,对于目前街道上常见的障碍物及危险因素进行分析和研究,建立识别模型,基于此提出了一种可实时识别道路状况、避障及传输地理位置信息的交互型视觉辅助系统

*与人工智能的相关性说明:

借助AI识别模型和ESP32为控制核心,结合传感器技术和移动的物联网,集多种控制功能于一体,如获取使用者前方状况图片、识别障碍物、语音报告,如帮助视障人群在无他人帮助的情况下增强震感的方式感知


作品说明

*构思形成:

通过自训练模型,让语音提示互动更加准确通过APP远程跟踪,可以随时随地看见盲人的情况。发送地理位置,语音唤醒播报当前位置、发送位置信息,确保安全。增加了体感,通过超声波传感器配合震动,准确规避视觉盲区

*设计过程:

【项目软件端功能】通过语音交互提示功能和获取盲人的实时位置实现保护,可以通过“灵眸一动”唤醒语音识别、“呼叫灵眸”主动呼叫紧急联系人并发送地点信息,“在哪灵眸”告知使用者当前位置。

【硬件端功能】使用ESP32开发端超声波测距传感器,通过超声波来检测距离的远近然后通过振动提醒盲人面前是否有障碍物。ESP32cam负责识别盲人面前的物品并通过手机APP来与盲人进行交互,并通过蓝牙描述周围环境。

*演示效果:

1.盲人行走在路上,仅靠导盲棍并不能发现远处的危险。如果遇到车辆等移动的物体,我们可以通过图像识别发现这些环境风险并使用语音提醒盲人注意避让或等待。首先,需要先将盲人面前的物体拍摄下来并发送到物联网平台。然后,借助物联网和EasyDL模型识别前方的物体。

2.将识别结果发送到手机端:在由模型识别的同时,手机端需要获取危险,提取有效信息并进行判断,从而选择向盲人播报语音内容来提醒盲人前方出现危险。

*优点:

本装置可以帮助盲人在无人帮助的情况下感知周围环境并且能够自己行走,帮助盲人安全出行,有助于盲人回归社会。可以实现前方障碍物自动识别,自动语音报警或手柄震动报警功能,使用方便,实用性强,是出行的好助手

*还需进一步研究的问题:

①ESP32主板和面包板主体比较大,不适合直接连接震动和超声波,所以通过延长线连接到面包板和导盲棍上。

②ESP32cam虽然主体较小,但是依旧不便于放置在特定位—眼睛或帽子上,3D打印一个专用墨镜。


作品图片