基本信息

第一作者姓名：孙维蔓

性别：女

民族：汉族

第一作者学校：上海光华剑桥国际中心

第一作者人所在年级：高二

第一作者人所在年级：

性别：

民族：

第二作者人所在学校：

第二作者人所在年级：

辅导教师姓名：王骏

作品摘要

*结构组成：

1）人脸检测模块：使用OpenCV，

2）识别器：基于深度卷积神经网络开发，

3）数据集来源：Kaggle面部表情识别挑战数据集Fer2013，

4)  图像特征处理：Tenserflow后端

*主要特征：

1无需对图像进行对齐、光照等前期处理。解析过程利用了器官之间角度和距离的关系，进而缩小了检索范围，提高解析速度。

2.将人工智能应用于校园心理健康这一社会热点问题，老师能通过本系统提前发现学生负面情绪并预防校园问题发生。

3.在较少的训练次数下，采用本卷积神经网络模型在FER2013上取得较高准确率（71.301%），进一步验证了卷积网络在表情分类问题上成功应用。

4.可在学校普通电脑上运行。 

*主要用途：

此系统运用到关注学生情绪健康上时，对于学生，他们负面情绪可以早期被系统发现，从老师那得到良好的情感疏导。对于教师，通过人工智能有效地分担老师工作。对于学校，可以通过早期筛查情绪信号来减少恶性事件发生。

*创新点：

1.将人工智能应用于校园心理健康这一社会热点问题，通过早期筛查情绪信号来减少恶性事件发生

2.修改后的网络结构具有局部连接和参数共享的特点，可以有效减少网络的相关参数，优化速度和精确度。

作品说明

*问题提出：

*提出的问题和解决的问题：

校园中师生比例的不平衡，同学们一些初期的负面情绪不能被察觉，倘若未受到关注和关怀，导致学生在学业上的力不从心，造成一些心理上的障碍，这也往往是校园抑郁，暴力的导火线。

本设计应用于预测学生负面情绪。

研究问题的原因和意义：

校园恶性事件大多由于孩子们早期情绪倾向没有被察觉和受到关注。世界各地，校园暴力普遍存在，在个别国家和地区已经成为突出的社会问题。而人类早期情绪信号主要通过面部表情传达,识别脸部表情能够使此系统高效准确

*解决方案：

解决问题的办法：

深度学习算法将ImageNet数据集的准确率提高到95.06％，这种识别率等于甚至超过人类识别率，这说明如果运用到关注学生的情绪健康上时，能非常有效的分担老师的工作。此人工智能的方法是基于卷积神经网络（CNN）的新型识别框架和Fer2013数据集， 该数据集有35887张48*48的灰度图的像素值以及七种表情标签，分别是：Angry, Disgust, Fear, Happy,Sad，Neutral，Surprise。CNN中的多个卷积和聚合层可以提取整个面部或局部区域的更高和更多层次的特征，并且具有良好的面部表情图像特征的分类性能。在通过OpenCV定位相机的面部图像之后，可以使用实时面部表情识别模块。可以在视频界面上绘制面部定位框，并且可以标记当前表达。系统是一个高效校园管理工具，来帮助更好的关注孩子们成长，利用更有效的方法发现学生情绪信号。通过老师可以更针对性地疏导孩子的情绪。

发明研究的重点：

建立模型框架，利用新型卷积神经网络结构提高在面部表情的图像特征的分类性能。对Fer2013数据集进行模型训练和图片预处理从而增大样本量：采用44*44的图像，并将图像进行随机切割和镜像处理。

发明研究的难点：

通过修改新型卷积神经网络结构，探索在数据集上测试的准确率和识别速度提升的方法。当处理一副图像时，传统的神经网络这种方式随着网络层数的增加，参数数量会爆炸。但这次利用的网络模型具有局部连接和参数共享特点

发明研究的难点：

通过修改新型卷积神经网络结构，探索在数据集上测试的准确率和识别速度提升的方法。当处理一副图像时，传统的神经网络这种方式随着网络层数的增加，参数数量会爆炸。但这次利用的网络模型具有局部连接和参数共享特点

本发明使用方法、附图说明性文字：

将摄像头的图像经过opencv人脸定位以后，就可以完成一个实时的人脸表情识别模块，可以在视频界面绘制人脸定位框，并显示当前表情标签。七种表情标签，分别是：Angry, Disgust, Fear, Happy,Sad，Neutral，Surprise。

*使用或试用效果：

采用卷积神经网络模型在此数据集上取得较高准确率（71.301%)，快乐和惊讶的准确率明显高于其他，恐惧的准确率相对较低。一是因为该数据集的不同表情的数量不均衡，二是生气，厌恶，恐惧，悲伤相似度较高。

*优点：

1）采用卷积神经网络模型在FER2013上取得高准确率（71.301%）验证了卷积网络在表情分类问题上的准确性与可靠性。

2）这种人工智能的方法是基于卷积神经网络（CNN）的新型识别框架，此模型在FER2013数据集中取得了显着成果。CNN中的多个卷积和聚合层可以提取整个面部或局部区域的更高和更多层次的特征，并具有良好的面部表情图像特征的分类性能。

3）利用高准确度人工智能，及时侦测学生情绪信号

*还需进一步研究的问题：

1）添加辅助应用程序，教师可以通过手机直接获取学生的信息。

2）OpenCV人脸检测器简单，在光线不好的条件下效果较差，因此可以确定更好的人脸检测器。

3）虽然使用卷积神经网络模型已经在FER2013中实现高精度，然而，悲伤一类的情感表达仍难以区分。需要设计子网络或按照网络进行进一步分类。目前，该模型仍然是单一模型下没有集成下的结果，多模型集成的方法将进一步提高准确性。

作品图片

查新说明

*查新网址与关键词：

关键词1：表情识别算法and卷积神经网络 结果：找到2条专利

关键词2：表情识别and关怀 结果：找到3条专利

关键词3：深度学习and表情识别 结果：找到42条专利

关键词4：深度学习and卷积神经网络and表情识别 结果：找到23条专利

关键词5：特征提取and表情识别and卷积神经网络 结果： 找到28条专利

*与本发明最相近的发明专利、研究文献的名称与摘要：

CN201811167972.4 一种多尺度特征提取及全局特征融合的人脸表情识别方法 审中-公开发明

摘要：本发明公开了一种多尺度特征提取及全局特征融合的人脸表情识别方法，选择一个人脸表情数据集作为原始数据，将原始数据分为训练集数据和测试集数据；采用TensorFlow人工智能学习系统构建多尺度特征提取及全局特征融合的卷积神经网络；卷积神经网络读取训练集数据，对训练集数据进行预处理后进行模型训练，然后读取测试集数据，对测试集数据中的各个表情依次识别出所属表情类别，完成所有表情的识别后，计算所有表情的平均准确率及平均F1?score指标，最终完成人脸表情识别的过程。本发明在保证识别准确率高的情况下识别速度快，同时能适应多种光照环境具有较强的鲁棒性，从而可有效满足实际应用要求。

*自我查新结论：

新颖