基本信息

第一作者姓名：鲁沐莀

性别：女

民族：汉族

第一作者学校：上海市第四中学

第一作者人所在年级：七年级

第一作者人所在年级：

性别：

民族：

第二作者人所在学校：

第二作者人所在年级：

辅导教师姓名：张业金

作品摘要

*主要特征：

结合手指关键点识别技术与语音播报技术，设计了一款即时聋哑人与正常人的双向翻译器，不仅能够实现将手语进行翻译播报，还能够接收正常人的语言进行语音识别，将其输出显示在屏幕上。

*主要用途：

患有听障和语言障碍的人被各种问题所困扰，因为生理原因，许多工作无法去尝试和完成，常受到歧视。于是，我想制作一个便携、可以即时识别手语的智能装置，可以进行双向沟通，解决普通人与聋哑人士沟通困难的难题。

*与人工智能的相关性说明：

1.双向交流翻译器完成了双向翻译，使用更加方便。

2.使用百度AI的手指关键点技术学习制作了手语对比库，以此完成手语的识别问题，让计算机机器视觉技术造福社会。

作品说明

*构思形成：

针对聋哑人与正常人的沟通障碍，本课题基于opencv和语音识别技

术设计并开发了一款双向交流翻译器。让正常人与聋哑人的沟通更加顺畅，方便，帮助聋哑人融入社会。

*设计过程：

1.外观设计与制作：使用LaserMaker绘制图纸，使用光切机切割板

材，最后将切割的材料进行组装。

2.语音识别程序：使用mind+编程控制语音识别传感器识别声音，并把识别结果输

出在屏幕上。

3.手语翻译功能：利用百度AI手指关键点技术学习各种手语图库，并建立手语对比

学习库。盲人手语是有一段时间过程。采用的是视频拍摄，然后对视频间隔半秒进

行画面截取。截取图片进行关键点识别后与对比库对比。

*演示效果：

1、手语识别的整体准确度达到86%。其中提问的语句准确度偏低，因为识别过程包含了多个手势的集合。而对于单手势的语句，识别准确度高达百分之百。

2、噪音下声音识别度随着分贝越高，识别准确度就越低。在噪音小于50分贝时准

确度达到80%以上，正好满足我们生活中大部分场景的需求。

3、实验测定使用设备可以让聋哑人与正常人的沟通时间减少了50%左右，准确率提

高了25%。可见有效的帮助聋哑人与普通人交流。

*优点：

该项目对于聋哑人融入社会有着重大意义，未来可针对设备的翻译手语库进行扩充，并使用图片分割技术高效的处理手语翻译中的环境等相关干扰因素。让设备成熟化，既可进行商业化，以此提高聋哑人群的生活、学习等方面。

*还需进一步研究的问题：

后续我会加入脸部识别，能够将聋哑人在进行手语交流时的神态以及面部表情做分析，这样我们不仅知道对方表达的内容，也能够对其心情做一个描述，在与聋哑人交流时同时也能顾及到对方的心情变化，能够走入对方的内心。

作品图片