测评大数据支持下的学习反馈设计研究

陈明选，王诗佳

（江南大学 教育信息化研究中心， 江苏 无锡  214122）

      [摘要]测评大数据分析的学习反馈是发挥大数据优势、提高学习效率的有效途径。本研究从测评大数据的视角探讨了大数据应用于学习反馈环节的机遇与挑战，对当前测评大数据的应用方式及问题进行了分析；从数据优势与教学经验有机结合的思路出发，建构了基于测评大数据分析的学习反馈系统框架，包括：反馈内容设计、反馈环境设计、反馈机制设计三个维度。研究认为：测评大数据为当前学习者状态分析和教学优化提供了更客观的数据支持，基于测评大数据的学习反馈分析与规律总结是教育大数据在基础教育领域的价值所在,把握学习状态是开展下一阶段学习的基础。

      [关键词]测评大数据；学习反馈；反馈设计

      [中图分类号] G434     [文献标志码] A

      [作者简介]陈明选（1957——）袁男，重庆开县人。教授，主要从事信息化教育、课程与教学论研究（E-mail：chenmx@jiangnan.edu.cn）

一、引言

      学习评价是教与学过程的重要环节，学习反馈是评价与学生发展之间的桥梁，有效反馈对帮助学习者理解评价信息，保证学习效果，提升教师教学水平都有着重要意义。在传统课堂学习环境中，由于受到学生人数多、教学任务重、分析难度大等问题的限制，学习反馈存在时效性差、教师主观性强、反馈参与面窄等弊端^[1]，对学习常态化反馈内容也以学生的考试成绩、排名为主，学生较难深度了解自身的学习问题，更难以摸索有效提高学习效果的方法。

      随着教育的不断信息化，学习环境、学习内容、信息交互方式等都在发生翻天覆地的转变,学习评价也必然需要随之发展与变革^[2]，如何在评价基础上开展反馈的问题同样值得深思。有研究者开始尝试将技术手段应用于评价反馈环节中，探索通过使用基于计算机的评价反馈促进学习者有效学习的方法^[3-4]，打破传统教学以学期为单位的延时反馈弊端，以客观数据与过程性反馈代替总结性结果，针对性解决教与学过程中的问题，提高学习效率。因此，开展基于常态化采集的测评大数据进行学习反馈研究具有重要意义和现实应用价值。

二、教育大数据支持下的基础教育学习反馈变革

      传统教学由于受到时间少、学生多、任务重等限制，学习反馈以练习的正误判断与分数为主，系统性的反馈信息以学期为单位，通过成绩单、告家长书等形式向学习者与家长提供。计算机支持下的学习评价反馈系统打破了时间与空间的阻碍，通过收集学习者的数据痕迹，对采集到的学习过程性与结果性数据进行挖掘与分析，再基于系统提供的交互功能即时为学习者提供数据分析的结果信息。这种技术支持下的学习反馈能有效改善传统反馈的时效性问题，打破一师多生的困境，在反馈时机、反馈来源、反馈频率、反馈形式方面都为学习反馈带来了较大的变革。

      （一）反馈时机：从延时性到即时性

      在传统学习情境中，教师对学生作业的批改是学生获得反馈信息的主要途径，作业的批改与分发时间受制于教师的工作任务量与效率，而系统性的学期成绩单反馈更受到家访计划、家校距离、邮寄进度等时空限制，不能即时为学习者呈现。这对学习者及时了解学习问题，调整学习计划造成一定阻碍。在当前基于计算机的评价反馈系统中，计算机通过收集学习者留下的学习痕迹，如测验成绩、在线时间、资源浏览等，可以根据学习者的需求为其提供即时反馈信息。相比于传统教学，信息化环境下的即时学习反馈在反馈时机上的灵活性更强。

      （二）反馈来源：从主观性到客观性

      传统教学反馈往往以成绩作为核心信息，对学习者学习表现的评价反馈往往以教师主观判断为主，对教师的教学经验、个人态度等要求较高。同时，评价的数据来源仅有总结性测试数据，数据维度低、数量少，仅包含成绩信息的反馈又难以为学习者调整学习目标与策略提供支持，学习反馈并不能为教与学效率的提高提供支持。而计算机支持下的评价反馈系统为收集学习者多维度数据，开展全面的数据分析提供了可能，基于学习数据分析的评价反馈在一定程度上避免了原有主观评价信效度不高的问题，为学习者和教师提供了客观的分析结果。

      （三）反馈频率：从总结性到常态化

      传统教学中对常态化作业的批改反馈往往仅有等级或对错的信息，而包含较多学习表现信息的反馈往往在一个阶段的学习活动结束后开展，如单元测试、期中/期末测试，在总结性评价结束后，教师采用“分数”+“评语”的形式为学习者提供反馈信息，指导其下一阶段学习的开展，但这种总结性反馈往往忽视了学习者在学习过程中的表现。而技术支持下的评价反馈系统，通过收集日常作业与测验信息、资源浏览情况、学习时长等数据，在分析的基础上即时反馈学习状态，使学习者对反馈信息的获取真正实现常态化。

      （四）反馈形式：从文本型到可视化

      分数或描述性报告是传统评价反馈中常用的形式，而在信息化评价反馈系统中，系统通过收集学习数据并分析，不仅可以为学习者呈现数字或文字形式的反馈报告，还能通过可视化图表更直观地表征学习者的学习状态。有研究表明。信息的加工过程是人类认知过程的关键，而可视化表征信息的方式对提高认知效率有重要帮助。在学习反馈中使用可视化图表，能有效帮助学习者理解反馈信息，从而激发内部反馈的形成，促进学习效率的提高。

三、测评大数据与学习反馈系统应用现状

      （一）测评大数据

      虽然基于教育大数据分析系统的学习评价与反馈解决了传统教学中反馈晚、信息简、形式少等问题，但已有技术支持下的学习评价与反馈多围绕在线学习展开，学习的过程性数据的捕捉需要以人机交互为基础。在国家信息化战略的推进下，教育技术设备设施的学校覆盖率日益增高，但教师与学生的人均拥有率有限，在基础教育的课堂教学中普及化使用移动设备采集学习数据仍存在现实阻碍。此外，在我国基础教育中，班级授课制与大班教学仍是多数学校的主要特征，以考试等形式收集到的总结性学习数据使用简单的分数反馈仍占据主流地位，这些问题在一定程度上阻碍了教育大数据在学习反馈领域的应用。

      在我国基础教育较难做到移动终端普及化的现状下，对教学过程中的所有数据进行采集是存在一定难度的，但中小学的常态化练习与阶段性测验为过程性学习数据的收集提供了可能，以常态化练习为载体的学习数据收集与分析是教育大数据在我国基础教育领域可行的应用方式之一。该类学习数据围绕教师组织的测评活动获得，包括试题与学习者两个维度。其中，试题维度的数据以知识点为核心，包括知识点内容、类型、难度、多知识点关系等，学习者维度的数据又以学习者的作答情况为主，包括得分、选项、解题过程等。本研究将此类基于测评活动获得的学习数据集合定义为测评大数据，在基础教育领域对常态化采集的测评大数据开展分析，有助于教师或学习者对个体或集体在基于试题的测评结果之间开展横向比较（如，平均分、正确率、排名等），更能对学习者在试题背后反映的知识点层面进行纵向挖掘（如，知识结构、认知水平等），为教师的教与学习者的学提供指导与帮助。

      （二）测评大数据支持下的学习反馈系统应用现状

      在已有研究与教学实践中，研究者们更多关注测评大数据在学习评价领域的应用，探索学习数据的分析方法、采集维度，以及学习者认知水平测量等，而对评价基础上的反馈应用关注较少，如何在技术支持下为学习者提供有效反馈的成功经验也较为缺乏^[5]。学习反馈作为评价结果与学习行为调节的中介，其有效性是学习者开展高效学习的关键。而当前测评大数据在基础教育学习反馈环节中的应用表现出系统使用频率不高、内容组织方式单一、信息加工意识不足等局限，深入剖析这一现象背后的原因可以发现，教师认知误区、系统应用局限与学习者获取障碍是造成测评大数据支持下学习反馈有效性较低的症结所在。

      1. 教师认知误区：技术支持下的评价反馈仅能提供总结性反馈

      在对一线教师的访谈中，笔者发现，不少教师认为测评数据是“只能提供成绩信息”的简单分析工具，过分注重班级之间的横向成绩比较而忽视试卷内部的纵向知识分析，更没有意识到频繁的常态化数据采集能对学习者在一个阶段内的学习过程进行呈现。在一项以Signals学习系统为评价反馈平台的大规模使用情况调查中，研究者也发现了类似的问题。几乎所有的教师都将Signals的反馈定义为总结性反馈，而低估了该类工具在提供形成性反馈上的潜力^[3]。基于测评数据的学习分析，不仅能表现出学习者的单次学习结果（成绩与排名），还能对一个学习阶段内学习者的过程性变化进行总结，更能对试卷内更深层的学习者知识结构进行挖掘。

      2. 系统应用局限：仅设计量化分析反馈而忽视教师经验与评价

      在当前可供一线教师使用的学习评价与反馈系统中，试题数据与学习者答题数据是最主要的分析数据源，通过对这些数据进行描述性统计等数据处理方法，向教师与学习者分别反馈班集体与个体在练习中的得分、排名、知识点正确率等信息。这种自动化评价反馈系统的设计，虽然能让学习者与教师在第一时间了解到每一次练习的具体情况，但在如何界定不同层级学生的分层标准、如何确定知识点之间的关系等方面都受到了一线教师的质疑。有教师表示，“我一般看一道题的班级正确率如果高于80%，我就不会再讲这道题了”“我一般不用系统里的知识点标签，它太笼统了，我都自己标注”“有些知识点非常相似，学生可以用前面的学习经验来学后面的知识”，这些教师在教学过程中积累的经验可以为学习者更好地使用学习反馈信息提供帮助与指导。此外，系统提供的客观量化数据需要教师解读才能赋予其更深层的意义。有教师提出，“我看完数据后，为了让学生知道自己的问题所在，我会为他们留言”。这些来自教师的质性反馈信息能让学习者更好地理解来自系统的数据分析结果，教师的教学经验也能为系统功能的进一步完善提供支持。

      3. 学习者获取障碍：接触移动设备难

      在面向学习者群体的调查中，笔者发现，教育大数据分析系统在学习者中的应用更是处于几乎缺失的状态。学习者几乎不查看学习分析结果，或是没有途径查看自己的学习反馈，更难以使用反馈信息促进自己的学习。“我们成天待在学校里，没有手机看分析报告”“我爸妈会收到我的成绩，但是很少跟我说”。有教师指出，目前学生收到的学习反馈都是二手反馈，系统向教师呈现后，教师再在课堂教学中传达该类反馈信息，这种反馈方式的效果远远不如直接告诉学习者其学习问题所在，并及时进行改正。这一现状与数字化设备支持下的学习反馈的即时性相矛盾。如何使学习者及时获得有效反馈，帮助他们调整学习进度与目标，是基于我国高中学习者特征的重要问题。

四、测评大数据支持下的学习反馈内容设计

      “反馈”一词源于传播学，指一种有声或无声的信息交换^[4]，教学同样可以被认为是一种知识的传播方式。在教育学领域，反馈是一种对学习行为的“结果”的信息传递^[3]。在针对反馈内容的研究中，有学者指出，评价反馈“不仅需要提供学生的表现信息，更需要包含提高学业水平或促进理解的方法”^[4]。Voerman等在教育实践中将反馈与学习目标相结合，指出学习目标是反馈内容的核心，并将反馈定义为“由教师提供与学生的学习行为或理解相关的信息，提供反馈是为了反映学习目标并促进学习”^[6]。在对教育领域的“反馈”内涵进行整理的过程中不难发现，学习反馈是在学习评价的基础上进行的，它的核心是与学习者相关的信息集合，这些信息主要包括：（1）通过学习评价获得的学习者的阶段性学习成果与理解水平信息；（2）学习者需要达到的学习目标信息；（3）促进学习者达到学习目标的学习策略与方法信息。

      基于对学习反馈核心思想的解读，结合技术手段在测评大数据中的分析优势与功能可行性，本研究认为，测评大数据支持下的学习反馈在内容层面上应该包括学习者的当前学习状态、学习者的阶段性学习目标、促进学习者达到目标的学习方法与策略三部分。

      （一）学习者的当前学习状态

      测评大数据不仅能对学习者的基本成绩信息进行表征，更能对知识点层面、波动变化情况等多维度开展横向与纵向的比较与规律挖掘，主要包括学习者基本成绩信息、知识点信息、学习变化信息、原因信息等四方面。

      1. 基本成绩信息

      基本成绩信息是传统教学中较为关注的信息，也是学生与家长较希望获得的信息^[7]，主要包括个体总分、个体排名、班级平均分、班级排名等。这些反馈信息能帮助教师与学习者了解班级与个体的整体练习完成情况，对反映单次练习完成情况的信息进行常态化收集也能为学习变化趋势的分析提供数据支持。

      2. 知识点信息

      基于测评大数据分析的知识点信息主要包括知识点正确率和知识结构两类。其中，知识点正确率是表征学习者在某个单一知识点上掌握情况的信息，有助于教师与学习者发现自身的知识薄弱点与优势项，针对性地弥补自身不足。知识结构是表征学习者在某一知识体系内掌握情况的信息，能帮助学习者了解单一知识点之间的关系，发现某一知识点的薄弱原因，如：对前知识点掌握不足、相似知识点学习障碍等。

       3. 学习变化信息

       学习变化信息主要指学习者在多次练习与测验中的总分、排名、知识点正确率等的波动变化情况，通常以折线图的形式呈现。该类信息由单次练习中的测评大数据分析结果组成，虽然测评大数据多用于反映总结性评价结果，但在一个教学阶段内开展常态化测评大数据采集与分析，能对学习者的阶段性学习过程与变化情况进行表征，帮助教师与学习者把握学习进度，调整自己的学习步调。此外，在知识点层面的学习变化信息，能帮助学习者总结不同类型知识点的学习规律，为相似知识点的学习提供经验支持。

      4. 原因信息

      测评大数据不仅能帮助学习者了解学习现状，还能对学习者在试题层面的错误原因进行挖掘。测评大数据支持下的学习分析系统可以捕捉学习者在每一试题中的具体选项，而每个错误选项背后都反映了学习者的不同错因。有研究者将学习者在物理测验中的错误归纳为概念理解错误、方法运用欠缺、抽象转化障碍三类^[8]，而不同学科由于思维方式、知识属性等方面存在差异，具体的错误原因也不尽相同，学科教师需要结合自身教学经验与学生的错误习惯，总结错误原因，并对错误选项中的错因进行标注。在此基础上，学习者的错因将能在技术支持下作为测评大数据的一部分得到收集与分析，帮助学习者了解自身的习惯性错误原因，针对性地调整学习习惯。

      （二）学习者的阶段性学习目标

      测评大数据为当前学习者状态的分析提供了更客观的数据支持，把握学习状态是开展下一阶段学习的基础。已有研究表明，明确且适当的学习目标能增强学习者的学习动机与自我效能感^[9]，更能帮助学习者制定学习计划，提升学习效率。传统课堂中的学习目标往往以学科课程标准中的教学目标为准，所有学习者共用一个学习目标。但一致的学习目标忽略了不同学习者在个体学习进度、特征与需求等方面的差异，可能制约优等生的发展，或给后进生带来学习压力。

      在测评大数据的支持下，教师可以基于已有的课程标准，结合自身的教学经验，根据学习者的学习状态数据为其制定差异化的阶段性学习目标。差异化目标是以教师的主观经验为指导，为不同层级的学习者提供不同的学习目标。实践证明，这是在控制教师工作量基础上，结合大数据优势与教师经验必要性的可行方法。具体的测评大数据支持下的阶段性学习目标制定，需要结合以下三方面信息开展：

       1. 课程标准学习目标

      学科课程标准规定了该学习内容需要达到的基础学习目标，这一目标往往是较为简单的，是每一位学习者在教学过程结束后需要掌握的知识与技能内容。阶段性学习目标的制定需要以课程标准为基础，在不同学习阶段对课程标准中的学习目标进行实现或发展。

      2. 当前知识单元掌握情况

      知识单元是指与某一知识点相关的子知识点、父知识点在内的一棵知识树。其中，本知识点正确率、父知识点正确率、前知识点正确率是表征学习者当前学习状态的重要数据。在确定学习者的下一阶段学习目标时，与该目标相关的知识点的知识单元掌握情况数据是为学习者进行分层的关键依据。

      3. 相似知识单元掌握情况与变化规律

      在学习者分层与差异化学习目标制定过程中，除了学习内容中核心知识点的关键数据外，相似知识单元的特征与规律也能帮助预测当前知识点的学习进度，为学习目标的制定提供支持。如，高中物理教学内容中，磁场相关知识的阶段性学习目标制定就能参考学习者的电场相关知识单元学习规律。

      （三）促进学习者达到目标的学习方法与策略

      在教学过程中，学习者获得的学习反馈往往以学习状态信息为主，少数学习者对下一阶段的学习目标有所把握，但对于如何达到目标的问题，几乎没有学习方法与策略上的指导信息。学习者的学习状态与阶段性学习目标反馈信息，需要可操作化的学习方法与策略的支持，才能体现其价值。

      在测评大数据支持下的学习反馈中，促进学习者达到目标的学习方法与策略具体可以通过教师建议和资源推荐两种方式提供。

      1. 教师建议

      虽然测评大数据分析能有效表征学习者当前学习状态，但为学习者提供学习方法与策略的过程，仍需要教师的教学经验支持。教师建议的主要目的是帮助学习者认识学习中的问题行为，并为学习者提供可行的学习方法。在系统提供的学习者数据分析报告的基础上，教师结合学习者在课堂中的学习行为特征，可以告知学习者在课堂表现、学习习惯、书写习惯等方面需要改进的具体问题，如，课堂内不专心听讲，作业完成不及时等数据较难获得的过程性信息；引导学习者调整学习习惯，或与学习者分享某一知识点的学习经验，如整理错题帮助较大、记忆公式是基础等。

      2. 资源推荐

      帮助学习者达到学习目标的另一可行方式，就是为其提供针对性的学习资源。面对海量的信息与资源，学习者容易出现盲目选择的情况，较难辨别资源对自身的价值。现代信息技术手段的数据优势能基于学习者的测评大数据为其推荐可能需要的学习资源，帮助学习者进行信息过滤，使学习更有针对性。推荐的学习资源主要包括三种类型：教学资源、同伴资源和练习资源。教学资源主要有以知识点为单位的教学微视频、重点知识点，帮助学习者重新学习薄弱知识点；同伴资源包括学霸解析、榜样推荐，促进学习者之间的相互交流；练习资源包括错题本和提升训练，在巩固的基础上进一步拓展学习的深度。

五、测评大数据支持下的学习反馈环境设计

      为了使教师与学习者及时获得准确有效的学习反馈，如何将测评大数据转化为具有教学价值的反馈信息是关键。测评大数据支持下的反馈系统环境包括：数据采集、数据准备、数据处理、信息表征、组织反馈和资源推荐（如图1所示）。

图1 测评大数据支持下的学习反馈环境设计

      （一）数据采集

      数据采集包括试题信息的录入与学习者测评大数据的采集两部分。试题信息可以在系统中循环使用，不同教师在组织试卷时可以使用其他教师上传的高质量试题。学习者测评数据的收集需要技术设备的支持，目前市场已有的技术设备主要有扫描仪、录入笔等，通过对图像的采集或位置的识别，将纸质练习中的答题情况转化为测评数据。此外，可以直接对学习者在线练习的数据进行采集。对试题与测评数据两个维度数据源的采集是开展数据分析的基础。

      （二）数据准备

数据准备阶段是系统环境设计中需要学科教师或专家提供支持的环节，也是学习反馈系统客观性与经验性结合的体现。在这一环节中，一线教师需要在反馈系统的教师端页面中，手动选择测验试题考察的知识点，并对本节课的阶段性学习目标进行录入。在此之前，反馈系统开发人员应当在学科专家的支持下建构学科知识体系网络，并对知识点进行多级划分，以便学科教师进行统一的选择与标注。同时，任课教师需要结合班级学习者特征、教学内容难度等因素，综合制定差异化的阶段性学习目标，并在教师端页面中录入，为实现差异化学习目标的半自动化反馈提供基础。

      （三）数据处理

      数据处理是对测评大数据进行分析挖掘，发掘其教育价值的过程。该环节是反馈系统的后端开发过程，以数据库内的关系表建构与运算程序的设计为核心，需要系统开发人员的专业技术支持。值得注意的是，针对某一学习者的测评大数据分析并非限定于单次测试的数据中，而是对历史数据的迭代运算，从而降低特殊测评情况对学习者分析结果的影响。

      （四）信息表征

      在数据处理的基础上，如何对分析结果进行可视化表征，传达数据背后的含义，是组织有效学习反馈的关键，也是反馈系统开发的前端设计规则。本研究使用结构图、折线图、条形图分别表征学习者的知识结构与掌握情况、学习变化情况以及错因占比情况，对测评数据的分析结果进行再加工，挖掘其反映的教育意义。

      1. 知识结构图

      知识结构图用于表征知识点之间的关系以及学习者的知识掌握程度，由知识点和知识关系组成。本研究中的知识结构图使用椭圆形状表示知识点，使用实心箭头表示知识点间的父子关系，由子知识点指向父知识点，使用线状箭头表示知识点之间的先后关系，由基础知识点指向后续知识点。此外，使用实线、虚线与点线的线条状态分别表征知识掌握程度中的非常好、需要增强以及需要补漏，这三种知识掌握程度的高低判断，需根据该知识点相应的考察试题中总正确率的高低来衡量。

      在测评大数据分析系统中，知识结构图的制作与呈现需要以下四个步骤：第一步，学科专家或权威教师绘制系统化的知识网络图；第二步，系统开发者设计功能，并在一线教师的辅助下对试题考察的知识点进行标注；第三步，一线学科教师选择本次反馈中需要的知识点，形成知识结构图，并设定适合本班学习者的正确率临界值；第四步，系统根据已有程序算法与实际测评大数据，为学习者呈现表征学习状态的个性化知识结构图。

      以人教版高中物理选修三第一章第九小节“带电粒子在电场中的运动”为例，课程中涉及的知识点与知识关系如图2所示。

图2 知识点结构图样例

      从图中可以看出，该学习者的“功能关系法”知识点掌握较好，“带电粒子在电场中的运动”知识点需要弥补，而“匀强电场”知识点则亟须查漏补缺。由此也可以推测出，该学习者“带电粒子在电场中的运动”与“电容器及其电容”两个知识点掌握不佳的原因，可能是前知识点“匀强电场”掌握不足，需要尽快弥补前知识点的基础知识。

      2. 学情变化折线图

      折线图是学习分析系统中最常用的反馈信息呈现形式，用于表征学习者在一段时间内的学习趋势与变化情况。测评大数据支持下的学情变化折线图应该在时间周期和数据选择两方面有所改进。首先，当前多数系统的学情变化折线图使用周、月等时间单位分析学习者变化情况，而教学过程是围绕知识单元展开的，不同知识单元的教学时间是动态变化的。学情变化折线图应以知识单元的方式定义时间周期，分析学习者在一个教学阶段内的学习变化情况。其次，对学习者的常态化练习总分绘制变化折线图不具有较大价值，练习总分受试题难易程度影响较大，无参照对象，且仅代表学习者的单次练习整体表现，若使用排名，或与平均分的差值等有参照物的数据表征变化情况，将更有实际意义。此外，系统中知识点的正确率为累积值，对某一知识单元中知识点正确率变化趋势绘制折线图，对学习者将更有增强信心或引起注意的作用。

      以某学习者在一个知识单元周期内的A知识点掌握情况变化趋势图为例，如图3所示。从图中可以发现，该学生在第三次练习时，A知识点的正确率有明显下降，可能在知识点难度加深后出现学习困难，需要引起注意并及时解决。从第四次练习开始，该学习者的A知识点正确率又得到缓慢回升。

图3 学情变化折线图样例

      3. 错因堆积条形图

      在测评大数据中，根据学习者的错误选项可以对其错因进行定位，对不同错因进行频率分析可以帮助学习者了解高频错误所在，促进自我反思与针对性复习的开展。堆积条形图能可视化表征多项错因的频率比例关系，直观告知学习者其高频错因，并列出其他错因进行提示。错因堆积条形图的绘制需要以下四个步骤：第一步，学科专家或一线教师对某学科的错因进行分类；第二步，一线教师对试题错误选项的具体错因进行标注；第三步，系统开发者对错因复合条形图进行功能开发；第四步，系统根据收集到的测评大数据，为学习者呈现个性化错因堆积条形图。

图4 学习者错因堆积条形图样例

      以某学习者在高中物理学科“带电粒子在电场中的运动”知识单元的错因堆积条形图为例，如图4所示。在一线教师与学科专家的支持下，笔者从概念理解丢分、解题能力不足、思想方法欠缺三个维度将高中学习者在物理学科中的错因分为三类共13项。从图中可以看出，该学习者在本知识单元内的高频错因为“多公式不能混合应用”，这一错因属于解题能力范畴，需要学习者对多个推演公式之间的转化加强练习与巩固。此外，审题不清、计算错误等失分项值得学习者在平时练习中注意避免。

      （五）组织反馈

      除了在试卷层面上为学习者提供试题的正误信息外，大量的反馈信息需要通过结构化的组织与系统化的呈现，才能帮助教师与学习者把握学习反馈中的关键信息，并用于指导下一阶段学习的开展。在具体的系统功能中，组织反馈是根据反馈的时机，帮助学习者选择适当的反馈信息组成学习反馈报告，再将个性化分析报告推送至学习系统的学生端，同时系统教师端也可以查看到本班学生的分析报告。本研究中，学习反馈报告分为练习诊断性报告和学习阶段性报告两种类型。

      1. 练习诊断性报告

      练习诊断性报告以单次测验或练习为单位，从练习中挖掘学习者在当前课时的学习情况，定位当前学习状态，并为下一阶段的学习提供方向。因此，练习诊断性报告的核心反馈内容包括：学习者知识结构图、错因条形图、阶段性学习目标三个部分。值得注意的是，诊断性报告中学习者的知识结构图将使用正三角“△”与倒三角“▽”标注每一知识点的掌握变化情况，给予其学习信心或警示。具体练习诊断性报告样例如图5所示。

图5 练习诊断性报告样例

      2. 学习阶段性报告

      学习阶段性报告以知识单元的学习为单位，从常态化练习获得的测评大数据中，总结学习者在一段时间内的学习规律和变化特征，帮助学习者及时发现当前知识单元中的知识漏洞，并为巩固知识基础、拓展学习深度提供可行的方法建议。因此，学习阶段性报告的核心反馈内容包括：学习者知识结构图、学情变化折线图、错因条形图以及教师建议等四个部分，具体学习阶段性报告样例如图6所示。

图6 学习阶段性报告样例

      （六）资源推荐

      反馈报告是帮助学习者了解学习状态，制定学习计划的重要依据，在学习反馈基础上的资源推荐则能为学习者提供查漏补缺的有效途径，进一步保证与提升学习反馈的价值和有效性。因此，本研究将学习资源的推荐作为反馈系统学生端的特殊功能，并将其视为促进学习者达到学习目标的具体策略之一。由于该模块为一个独立的功能模块，其设计原理在本研究中将不再赘述。

六、测评大数据支持下的学习反馈机制设计

      已有研究表明，反馈内容、反馈时机、反馈形式是影响反馈有效性的关键因素^[3]，反馈内容以现状、目标、策略为导向，反馈时机规定了“练习要反馈”循环发生的周期与频率，反馈形式则表现为学习者接收学习反馈的方式，三者共同作用，保障学习反馈的有效传递与内化。为了保证测评大数据支持下的反馈系统能够有效运行，本研究从反馈时机与反馈呈现形式两方面对系统的反馈机制提出要求，保证系统的可行性与有效性。

      （一）反馈时机

      技术支持下的学习分析系统使即时反馈成为可能，而我国基础教育中移动设备普及性不足的现状使学习者获得反馈信息呈延时状态。已有研究表明，在真实教学情境（如，课堂测验、学习材料阅读）中，即时反馈对提高学习者的学习效率更有效，而在实验研究条件（如，为了获取数据而增加的测试）下，延时反馈对其学习更有帮助。由于测评大数据支持下的学习反馈针对教师布置的课后作业完成情况，常态化的作业批改与订正需要即时反馈的支持。这一需求要求学科教师在收集学习者的测验或练习数据后，及时录入系统中（不超过1天），从而确保学习者在完成练习后获得即时反馈，保证反馈循环的正常运行。

      （二）反馈呈现形式

      为了保证学习者能及时获得反馈信息，学习反馈的呈现形式除系统功能界面呈现外，需要以纸质页面呈现的形式为学习者提供，即在系统中增加打印功能。教师在获得班级学习者的个性化学情分析报告后，可以帮助学习者打印报告并分发，保证学习者掌握反馈信息。家长或学习者可以将错题集或练习本打印成册，开展复习与巩固，保证反馈系统的迭代运作。

 

七、研究总结

      教育大数据为教与学的过程带来巨大变革，但在基础教育领域，由于受到移动设备普及困境与班级授课教学组织形式的制约，对教育大数据的应用与挖掘仍处于片面、浅层的水平。从我国基础教育常态化练习的特征出发，结合大数据带来的客观性、及时性、迭代性优势，我们可以发现，基于测评大数据的分析与规律总结是教育大数据在基础教育领域的价值所在。本研究着眼于测评大数据在学习反馈环节的应用机遇与挑战，从数据优势与教学经验有机结合的思路出发，建构了基于测评大数据分析的学习反馈系统框架。该框架从内容、环境、机制三方面提出了包含学习状态、学习目标、学习方法与策略三类核心信息在内的学习反馈概念系统，并对具体的环境、实施流程与要求进行案例解读。该反馈框架为实际调研与理论推演中生成的概念框架，在下一步的研究中，笔者将在一线教学中应用该框架，验证框架的科学性与有效性，结合教学过程中的可行性与用户体验建议，进一步修正与完善系统。

[参考文献]

[1] 韩后，王冬青.促进有效学习的评价反馈系统及其应用[J].现代教育技术，2015（2）：100-106.

[2] 陈明选，邓喆.教育信息化进程中学习评价的转型要要基于理解的视角[J].电化教育研究，2015（10）：12-19.

[3] TANES Z，ARNOLD K E，KING A S，et al. Using signals，for appropriate feedback：perceptions and practices[J].Computers & education，2011，57（4）：2414-2422.

[4] HATTIE J，TIMPERLEY H.The power of feedback[J].Review of educational research，2007（77）：81-112.

[5] 王学锋.形成性评价反馈循环模式与英语写作教学评价原则及措施[J].解放军外国语学院学报，2011（1）：52-55.

[6] VOERMAN L，MEIJER P C，KOTHAGEN F A J，et al.Types and frequencies of feedback interventions in classroom interaction in secondary education[J].Teaching & teacher education，2012，28（8）：1107-1115.

[7] OINAS S，HOTULAINEN R，VAINIKAINEN M P.Technology-enhanced feedback for pupils and parents in finnish basic education[J].Computers & education，2017（108）：59-70.

[8] 晏荣玲.高中生物理概念应用错误原因探析[D].上海院上海师范大学，2011.

[9] BANDURA，ALBERT，SCHUNK，DALE H.Cultivating competence，self-efficacy，and intrinsic interest through proximal self-motivation[J].Journal of personality & social psychology，1981，41（3）：586-598.

Research on Design of Learning Feed back Supported by Big Data on Exercise

CHEN Mingxuan, WANG Shijia

(Research Center of Educational Informatization, Jiangnan University, Wuxi Jiangsu 214122)

      [Abstract] Big data on exercise is the data set collected from evaluation activities. To use big data on exercise to provide learning feedback is an effective way to improve learning efficiency. This study explores the opportunities and challenges of big data applied in learning feedback from the perspective of big data on exercise, and analyzes current application methods and problems of big data on exercise. Based on the combination of data advantage and teaching experience, this study constructs a system framework of learning feedback, including feedback content design, feedback environment design, and feedback mechanism design. The results indicate that big data on exercise provides a more objective data support for analyzing learners' current status and teaching optimization. Moreover, the analysis and summary of learning feedback is the value of big data in basic education, and understanding the learning status is the foundation of next stage of learning.

      [Keywords] Big Data on Exercise; Learning Feedback; Feedback Design