以人工智能为代表的新技术,推动高等教育加快迈向数据智能驱动发展阶段。然而,在实际教学中,学生手机使用行为较为普遍,造成学习注意力分散,影响课堂表现[1]。由于缺乏对课堂学习状态的系统感知与量化分析手段[2],教师难以及时掌握影响教学效果的关键因素,制约了教学调控与评价的精细化发展。
物联网与大模型、边缘智能等技术的融合能够有效解决上述问题。大模型在行为识别[3]和姿态估计方面精度非常高,泛化能力也很强,为分析学生认知和学习状态提供了可靠的支持[4-5]。本地部署的边缘计算支持模型既可以实现高效的实时推理,又可以规避视频数据外传带来的隐私风险。这些技术的协同应用,为教学过程监测、课堂管理与学习评价提供了技术支撑[6]。
本文构建了一个智慧教室环境与行为感知系统,实时采集智慧教室环境数据和学生学习行为数据,借助边缘智能与大模型分析数据,从而形成集“采集—分析—反馈”于一体的智慧教室环境与行为感知分析方案[6]。系统以ESP32-S3为环境数据采集终端,部署温湿度、光照和空气质量等多种传感器,实现对教室环境关键参数的实时监测;同时搭载Jetson Orin Nano智能设备,利用USB摄像头采集学生视频流,结合大模型推理,完成本地化的人脸检测以及手机使用识别,进而构建面向课堂专注度的行为分析通路;最后,借助Redis和MQTT完成高效且低时延的数据传输,并利用OneNET物联网平台实现环境状态与行为分析结果的可视化呈现。该系统不仅能提升课堂学习状态的感知和分析能力,推动智慧教学管理落地,更为后续教学评价与学情分析夯实基础。
1 智慧教室环境与行为感知系统设计
2 智慧教室环境与行为感知系统实现
3 分析与讨论
4 结语
围绕高校智慧教室场景下课堂环境监测与学生行为分析的需求,本文设计并实现了一个融合边缘计算与大模型推理的智慧教室环境与行为感知系统。该系统采用分层架构,利用ESP32-S3持续采集教室环境参数,借助Jetson Orin Nano实时识别学生行为,并结合Redis缓存与基于TLS的MQTT通信机制,实现数据的高效、安全传输。依托OneNET平台构建可视化界面,对课堂环境状态、学生专注度变化以及课堂容量等信息进行展示,并将多源课堂数据输入豆包大模型进行分析,获得对课堂整体状态的综合判断与反馈。该系统在实时性和稳定性方面表现较为稳定,能够较好地适应实际教学场景需求,初步验证了“边缘计算与大模型结合”的技术路径在智慧教育中的应用潜力,也为后续课堂分析与教学辅助研究提供了实践参考。
参考文献
[1] 江婕,于文婷,王海燕.基于多模态数据的智慧课堂学生学习行为研究[J].中国教育信息化,2024,30(4):107-117.
[2] Sunday O J, Adesope O O, Maarhuis P L. The effects of smartphone addiction on learning: A meta-analysis[J]. Computers in Human Behavior Reports, 2021, 4: 100114.
[3] Liu Jingwei, Ren Haotian, Du Yuran, et al. A cascaded residual vision transformer with wavelet transform and application in behavior recognition[J]. Applied Intelligence, 2026, 56(5): 145.
[4] Li Yating, Qi Xin, Saudagar A K J, et al. Student behavior recognition for interaction detection in the classroom environment[J]. Image and Vision Computing, 2023, 136: 104726.
[5] Wang Xincheng. A review of deep learning-based student behavior recognition in the classroom[C]//Proceedings of the 5th International Conference on Computer Information and Big Data Applications. New York: Association for Computing Machinery, 2024: 751-756.
[6] Huang Kebin, Liu Rong, Cheng Yun, et al. IoT-based smart classroom environmental monitoring system design and implementation[C]//Proceeding of 2022 International Conference on Wireless Communications, Networking and Applications(WCNA), 2022.
[7] Liu Chunming, Qiu Sijie, Yang Chi-Hsin. Detecting learning behaviors using deep-learning-based classroom teaching quality analysis system[J]. Sensors and Materials, 2026, 38(4): 2149-2168.
[8] 张浩鹏,施铮,刘峰,等. CPViG-Net:基于局部跨阶段视觉图卷积的学生课堂行为识别[J].计算机科学,2026,53(2):57-66.
[9] 王萌,刘晓燕,罗海驰,等.基于大语言模型的实验报告自动评价研究:以“人工智能应用”课程为例[J].实验技术与管理,2025,42(8):201-209.
[10] Zhao Jian, Xu Maolin, Wang Xuezhu. A novel dataset based on indoor teacher-student interactive mode using AIoT[J]. Internet of Things, 2024, 25: 101044.
陈佳明 聂家梦 刘辰 杨淇善 北京工业大学 |