基本信息

第一作者姓名：张亚左

性别：男

民族：汉族

第一作者学校：北京钱学森中学

第一作者人所在年级：八年级

第二作者姓名：李益乐

性别：女

民族：汉族

第二作者人所在学校：北京钱学森中学

第二作者人所在年级：八年级

第三作者姓名：王敏铖

性别：男

民族：汉族

第三作者人所在学校：北京钱学森中学

第三作者人所在年级：八年级

辅导教师姓名：许玄玄

作品摘要

*主要特征：

本项目将基于深度学习的计算机视觉技术应用于课堂学生行为模式识别，支持学生行为的实时识别、离线识别，并进行全周期记录，提供各种数据分析并进行可视化呈现，为教师评价提供量化支持。

*主要用途：

利用数据可视化工具实现课堂行为基本数据、综合数据、行为趋势的统计和可视化，帮助教师掌握学生的课堂表现并及时反馈，进而提升学生学习效果，也可以帮助学生了解自身情况提高自律性。

*与人工智能的相关性说明：

所有视频样本都是团队自主拍摄采集；确定13类课堂动作并进行动作与“纪律性、活跃性、自主性、兴趣性”的关联权重调查问卷；对学生课堂行为进行实时或离线识别，并进行数据可视化统计与呈现。

作品说明

*构思形成：

教师评价学生的课堂行为，只能通过现场或课堂录像观察，具有较大的主观性和复杂性。将深度学习技术应用于课堂分析，能自动准确地识别学生的各种动作行为，形成学生的“课堂画像”帮助教师深入了解学生课堂表现。

*设计过程：

首先确定研究主题，明确深度学习算法工具，使用GoogleNet和SlowFast两个神经网络进行行为识别；其次录制13类行为的视频样本，并去除无效样本和补录提高样本质量；解决样本特征丢失、样本多样性不足等问题，训练准确率提高到90%以上；然后采取层次分析法进行学生行为综合评价，制作调查问卷并确定每层指标间的权重；最后根据学生行为判断的需要，选择了多种可视化插件进行数据展示。

*演示效果：

1、制作“神经网络实时行为识别软件”，进行离线识别，也可加载摄像头实时识别，并将识别结果显示在检测结果文本框中。2、制作“课堂画像可视化系统”，进行离线视频课堂动作识别并可进行基本统计、综合分析与趋势评估，其中以柱状图饼状图展示行为统计结果、按照四性与行为关联用雷达图进行综合分析、按照时间将正向和负向行为的统计趋势以动态趋势图进行展示、统计一段时间的横向数据趋势以河流图进行展示。

*优点：

该项目综合运用两种技术路线（静态和动态识别）来处理课堂视频数据，实现了从视频样本制备、神经网络行为分类训练、学生行为权重设计、课堂画像数据可视化的全过程，实时单人视频识别准确率达到90%左右。

*还需进一步研究的问题：

当前仅支持单人课堂行为视频识别以及评价，后续将开发多人视频并行行为识别算法与工具；在行为评估权重、样本多样性等方面仍有很大提升空间。

作品图片