郑怡文1,陈红星2,白云晖1
(1浙江艺术职业学院,浙江 杭州 310053;2浙江工业大学,浙江 杭州 310014)
[摘 要] 当前的课堂教学通常是一位教师面对几十名学生开展教学活动, 同时做到对所有学生的 精 准关注有一定难度。随着大数据时代的到来,借助数字媒体技术, 通过提取人脸表情和体态 特 征, 再 进 行 数据解读和分析,使对学生实现有效关注成为可能。 本文设计了一种学生学 习活动状态的识别与跟踪系 统,通过对学生坐姿、眼部和声音等状态数据进行采集和处理, 从而较准确地解读和判断出学生的 学 习 情 况。实验表明该方案是可行及有效的。
[关 键词] 大数据 课堂教学 学生 精准关注
[中图分类号]G645 [文献标识码]A
[文章编号]1005-5843(2016)02-0054-04[DOI]10.13980/j.cnki.xdjykx.2016.02.013
[第一作者简介]郑怡文(1970-),女,浙江杭州人,硕士,浙江艺术职业学院影视技术系副教授;研究方向:数字媒体技术。
一、前言
在教学活动 中 教 师对学 生的关注是非常重要 的,这是改善教学效果的一种有效方式。 目前的教 学现状通常由一个教师面对二三十人, 甚至四五十 人的学生开展教学活动,如何有效、 精准地关注学 生的学 习 状 态, 如 注 意 力 集 中、 听 讲、 发 言、 思 考、课堂练习、情绪、身体等情况, 对提高教学效 率具有重要的意义,而这些状态都可以通过人脸表 情和体态特征表现出来。对学生学习状态的数据获 取有三种方法:一是基于生理参数的检测, 通过对 脑电图、眼电图和心电图来获取脑细胞群的活动情 况、眼球运动情况和心脏的活动状况, 这种方法实 施成本较高,难度 也 较 大。 二 是 基于行为的检测, 监测学生的到课情况、课堂学习时间、 课堂参与讨 论发言等学习行为。三是基于图像的检测, 通过摄 像头或红外装置等外界设备捕获学生实时学习情况 的图像,确定学生的学习注意力状况。
本文设计了一种学生学习活动状态的识别与跟 踪系统,包括学生坐姿测量系统、 眼部识别系统和 噪音识别系统,通过对学生在课堂的一些生存状态 大数据的获取,可以较准确地解读和分析判断出学 生的学习情况,如到课情况、 思想集中情况、 课堂 活跃情况、身体疲 倦 情 况, 同 时 有 较 高 的 实 时 性, 使对每个学生实现精准有效的关注成为可能。
二、课堂大数据采集
(一) 眼部识别系统
眼部识别系统由图像采集模块、 光照预处理模 块、人眼定位模块以及人眼状态模块组成。 在图像 采集模块 中,CCD 传 感 器 对 模 拟 图 像 信 号 进 行 双 采样、暗电平 截 断、 可 变 增 益 放 大 和 A/D 转 换 后 形成数字图像信号发往 FPGA,FPGA 将接收到的 数字图像信号转换为低压差分信号发往上位机, 即 完成一次图像采集和发送操作。 自然条件下获得的 人脸图像总存在一些噪声,比如传感器引起的噪声 在图像中经常表现出一些孤立离散形的麻点。 为去 除这些噪声,可采用中值滤波技术, 中值滤波是一种非线性滤波方法,在一定条件下可以克服线性滤 波器处理图像细节模糊的问题。 中值滤波的基本思 想是把局部区域的像素按灰度等级进行排序, 取该 邻域中灰度的中值作为当前像素的灰度值, 它对于 干扰脉冲和点状噪声有良好的抑制作用, 同时又能 较好地保持图像的边缘。另外, 在曝光条件不足或 过强情 况 下, 图 像 灰 度 可 能 会局 限在很小的范围 内,造成图像模糊不清。本实验采用非线性灰度变 换技术来消除这种影响,以指数函数作为映射函数 进行灰度变换:
(式2-1)
这里,f (x,y)是原图像(x,y)位置处的像素 灰 度 值,g (x,y)是 变换后的像素灰 度 值, a、b、c是可 调参数, 通过变换, 图像的低灰 度 区 有了较大扩展而高灰度区得到了压缩, 使图像灰度 分布较为均匀。
人眼检测模块采用由粗 到细的两极定 位 算 法, 将眼睛搜索区域分割成若干大小固定的块, 对每一 块求其复杂度,找出复杂度最大的几块, 然后使用 一些规则,将这些候选块删除、 合并, 最终得到人 眼位置,算法公式如下:
(式2-2)
其中 Edge是边缘检测算子,S (A) 表示区域A 的面积。
从人脸图像中提取出特征值, 关键是二值化处 理,即将图像上各点的灰度置为 0 或 255, 使整个 图像呈现出明显的黑白效果,提取出来的人眼黑色 块如图1所示。
图1 人眼黑色块
人眼黑色块的面积大小并不固定, 而是随着人 眼的闭合状态的改 变 而 变 化, 结合学生上课情况, 在进行大量实验之后,我们把采集到的人眼黑色块 主要分为瞪 眼 (1)、 正 常 用 眼 (2)、 眯 眯 眼 (3)、
闭眼 (4) 四种状态。
(二) 拾音系统
本系统选用杭州艾力特 KO-280 高性能拾 音 器完成语音采集工作。这款拾音器的震膜是一个电 容咪头,具有拾音范围大、灵敏度高、 频率范围大(20~20KHz) 等特点。内置 DSP 数字降噪、
AGC 自动增益控制等高速信号处理电路, 有效防止语音 信号失真及衰减;自适应动态降噪处理, 内置高速 处理器,采用美国 BOURNS 专用电位器, 音 量 调 节可靠性高、准确度大,并且内置雷击保护、 电源 极性反接保护和静电保护。由于其卓越的性能, 被广泛应用于教室同步录系统、会议录播系统和审讯室 (见图2)。
图2 语音采集框图
语音的传输工作主要包含以下两部分: (1)由拾音器把课堂学生的语音信号转变为模拟的音频信号,送到音频功率放大器进行放大, 再由音响把声 音还原出来; (2) 把 电 脑 的 音 频 信 号 从 声 卡 Line
Out口引出,由中控音频 输出至放大路线, 混合输入 AuxIn,经 功 率 放 大, 推动音响工作 把 声 音 还原出来。其中,前置反馈器高质量可调式全频带均衡器,可进行拾音器音量调节、线路音量的独立调节;配置的 RS232 通 信 接 口,实现在中控面板上进行音量调节,满足不同音质需求。
(三) 学生坐姿测量系统
采用 Tekscan公司的体压测量系统 完成学生坐 姿测量工作。该系统包括基于 PC 机的 A/D 转换电 路和可重复实用的压力分布坐垫式传感器, 采用基 于 MS Windows的压力 显示和分析软件。 基于 PC 机的 A/D 转换 电 路 对 各 个 传 感 点 进 行 扫 描, 测 量 每个受 力 点 的 阻 值。 基 于 MS Windows 的 压 力 显 示和分析软件能够实现压力分布数据的实时采集控 制,可视化实时显示,记录压力分布过 程 并 回 放, 对压力分布数据进行分析等功能。 压力分布数据读 取及分析模块将读取的压力分布数据进行分析, 计 算出压力分布敏感区域,输出指定位置压力值等参 数,如图3所示。
图3 压力分布测量数据处理结构
基于体压测量平台采集的数据, 经过 Labview 软件分析,很容易得到某一时刻学生在课堂上的位 置状态,我们将学生常见5类坐姿记录为: 坐姿端 正、前倾15度、前倾45度、左侧身以及右侧身 。
三、课堂学生数据分析
数据流计算来自于一个信念: 数据的价值随着 时间的流逝而降低,所以事件出现后必须立即对其 进行处理,而不是缓存起来成批处理。 流计算的核 心价值在于实时整合来自多种异构数据源的数据, 对海量 “运动” 中的数据进行连续实时的处理, 图 4给出了数据流式计算示意图。
图4 流式计算系统
针对具有易失性、实时性、无序性、突发性、无限性等特征的流式大数据,理想的大数据流式计 算系统应该表现出高吞吐、低延迟、持续稳定运行和弹性可伸缩等特性,这其中离不开系统架构、 数 据传输、编程接口等关键技术的合理规划和科学设 计。系统架构是系统中各子系统间的组合方式, 属 于大数据计算所共有的关键技术, 大数据流式计算 需要选择特 定的 系 统 架构进行流式计算 任 务 的 部 署。数据传输是指完成有向任务图到物理计算节点 的部署之后, 各个计 算 节 点 之 间 的 数 据 传 输 方 式。 在大数据流式计算环境中,为了实现高吞吐和低延 迟,需要更加系统地优化任务图以及任务图到物理 计算节点的映射方式。编程接口是方便用户根据流 式计算的任务特征,通过任务图来描述任务内在逻 辑和依赖关 系 , 并 编 程 实 现 任 务图中各节点的处 理功能大数据批量计算将数据事先存储到持久设备 上,节点失效后容易实现数据重放。
基于本实验所采集数据的大量性以及多样性特 点,采用Twitter公司的Storm 系统对样本数据进行处理。Storm 系统是近期开发的实时数据流计算系统,它为分布式实 时 计 算 提 供 了 一 组 通 用 原 语,以 “流处理” 的方式实时处理消息并更新数据库。Storm 的主要特点如下: (1) 简单的编程模型, 降 低了并行批处理以及实时处理的复杂性。 (2) 支持 各种编程语言,可以在 Storm 之上使用各种编程语 言。要增加对多种语言的支持, 只需实现一个简单 的 Storm 通信协议即可。 (3) 支持容错,Storm 会 管理工作进程和处理节点的故障。(4) 支持水平扩 展,计算是在多个线程、进程和服务器之间并行进 行的。(5) 可靠的消息处理,Storm 保证每个消息 至少能得到一次完整处理。任务失败时, 它会负责 从消息源再次读取。
四、实验结果分析
采用数据流式计算手段对课堂学生状态数据进 行实时处理,效果较好,接下来把收集到的学生常见课堂状态中的眼部情况、声音情况以及坐姿情况 绘制成表格,如表1所示,结合学生的这三个关键 指标综合分析,真实再现学生课堂状态。
学生A在课堂上坐姿 正,眼睛目视黑板,状态自然稳定且无嘈杂声,属于注意力集中、 听课认真的典型一类。
学生B坐姿变化无常, 眼睛经常偏离检测区, 周围嘈杂声音不断,属于左顾右盼、 无法集中注意 力听课类学生。该类学生对教师所讲述内容不感兴 趣或者说对学习已经失去兴趣, 我们建议老师要加 强与该学生的有效沟通,多关注这类学生,了解其兴趣所在,并有计划地引导其投入到课堂的正常学 习中。
学生C周围很安静, 坐姿比较稳定但不端 正, 眨眼频率小于正常的人眼眨眼频率次数 (正常人每分钟眨眼10-15次),我们判断 这类学生课堂处于 困乏、疲倦状态,基本无心听课。 对于这类学生我们建议立即联系其家长, 了解学生课堂疲倦原因,要求家长监督学生正常作息,做好后勤工作。
五、结论
教师对学生的有效关注,会直接或间接影响学生的成绩,因为每个学生都渴望得 到 老 师 的 关 注, 这是帮助、激励、引导学生自我发展、 自我完善的有效手段。从教学过程产生的大数据中获取更多、更准确的学生信息将是今后素质教育研究的方向。 本文首次尝试采集学生课堂眼部、 坐姿、 噪音情况 三个重要指标综合判断其课堂听课状态, 削除教师 难以同时关注每个学生的 尴 尬状态, 有针对性地了 解并帮助学生解决和克服困难与障碍, 引导学生由 潜在可能向现实发展转变。
参考文献:
[1]许 文海 ,吴 厚德 .超 高分辨率 CCD 成像系统的设计 [J].光 学精密工程 ,2012(7):1603-1608.
[2]冯 建强 ,刘 文波 ,于 盛林 .基于灰度积分投影的人眼 定位[J].计 算机仿真 ,2005 (4).
[3]张 杰 ,杨 晓 飞 ,赵 瑞 莲 .基于积分投影和 Hough 变 换圆检测的人眼精确定位方法 研 究 [J].电 子 器 件 ,2005(4): 706-709.
[4]唐 旭晟 ,欧 宗瑛 ,苏 铁明等 .复杂背景下人眼的快速 定位[J].计算机辅助设计与图形学学报 ,2006(10):1535-1540.
[5]沈 锡琼 ,杨 京 萍 .监控用拾音器的安装和连接 [J]. 中小企业管理与科技 ,2014(2).
[6]沈 锡琼等 .智 能化多媒体教室中语音传输系统的设 计与实现[J].电 子设计工程 ,2014(9).
[7]肖 振 华 ,高 振 海 .基于体压分布检测和支持向量机 分类的乘员体征识别[D].吉林大学硕士论文 ,2008.
[8]苗 珊 珊 ,高 振 海 .汽车乘员体征识别多传感器融合 算法[D].吉林大学硕士论文 ,2013.
[9]孙 大为 ,张 广 艳 ,郑 纬 民 .大 数 据 流 式 计 算 :关 键 技 术及系统实例[J].软 件学报 ,2014(4):839-862.
[10]孟 小峰 ,慈 祥 .大 数 据 管 理 :概 念 、技 术 与 挑 战 [J]. 计算机研究与发展 ,2013(1):146-149.
TheExperimentResearchontheStudentsPreciseAttentionin Classroom TeachingBasedonBigData
ZHENG Yiwen1,CHEN Hongxing2,BAIYunhui1
(1ZhejiangArtVocationalCollege,Hangzhou,Zhejiang310053,China;
2ZhejiangUniversityofTechnology,Hangzhou,Zhejiang310014,China)
Abstract:Thecurrentclassroomteachingisthatoneteacherfaceddozensofstudentstoengagein learningactivities,whileachievingpreciseattentiontoallstudentshavedifficulty.Withtheadventof bigdataanddigitalmediatechnology,byextractingcharacteristicfacialexpressionandbody,thispa- perinterpretsandanalyzesthedata,andmakeseffectiveattentiononstudentstobepossible.Thispa- perpresentstheidentificationandtrackingsystemofstudentslearningactivityform,byacquainting andprocessingthedataofstudentssitting,eyesandvoice,moreaccuratedeterminesstudent'slearn- ingsituation.Experimentsshowthattheschemeisfeasibleandeffective. Keywords:bigdata;classroomteaching;students;preciseattention