一眼看去
- StudentSim 是一个研究系统，用于在真实学习者进行测试之前评估和改进人工智能导师；它并非产品，不用于教室中，也不旨在替代教师。
- AI辅导工具需要学生的反馈才能改进，但通过人工研究来收集这些反馈既耗时又昂贵，且难以实现规模化应用
- StudentSim 使用公开可用的去标识化学习者数据来训练个性化的 AI 学生模拟器，每个学生对应一个模拟器。
- 该研究从两个与教育相关的维度对模拟器进行了评估：一是它们是否能模拟特定学生的情况，二是它们在导师指导后是否会进行更新。
- 在国际象棋、第二语言英语写作和数学领域，StudentSim 优于主流方法，并为训练人工智能导师提供有用的反馈信号。
在研究环境中，团队正在探索人工智能驱动的辅导系统如何帮助解释数学问题、建议写作作业的修改方案，或引导学习者理解国际象棋的棋局。然而，教学质量不能仅通过辅导员的答案来衡量。辅导员需要了解指导到达学生后会发生什么。学生是否纠正了最初的错误？提示是否帮助他们思考出正确答案，还是透露了太多信息？ 是否需要不同的学生得到不同的支持？在当前的 AI 辅导研究中，回答这些问题通常需要真实的学习者研究。这些研究很有价值，但实施起来既慢又昂贵，因此很难在快速模型迭代过程中利用学生反馈。
StudentSim 是一个人工智能系统，它能够创建针对每个学生的个性化模拟器，模拟学生回答问题的方式以及他们在得到导师指导后答案的变化情况。其目标是在开发人工智能导师时让学生的反馈更易于获取。这项研究还引入了 StudentSimEval，这是一种涵盖国际象棋、第二语言英语写作和数学的基准测试与评估方案。
重要的是，目标不是取代教师或课堂学习。相反，StudentSim 帮助研究人员在研究和开发过程中评估并改进人工智能辅导系统，然后再用真实学习者进行测试。研究仅使用公开可用的、用于研究且去标识化的学习者数据集；在任何阶段都不使用个人识别信息。
测量学生模拟器需要做什么
构建学生模拟器的简单方法就是让大型语言模型扮演学习者的角色。例如，提示语可以写道：“你是一名在数学方面遇到困难的小学学生。”该模型可以改变语气并表现出不确定性。更难的部分在于保持学习者实际能力边界的真实性。模型可以用年轻学生的声音说话，同时仍依赖远超该学生水平的知识和推理能力。 为了训练人工智能导师，这可能会产生误导性的反馈：导师可能看起来很有效，因为模拟学生能力太强了。
传统的学生建模方法存在另一种限制。知识追踪和行为预测模型基于真实的学习记录，能够评估学生的当前知识、技能和学习习惯。然而，许多此类模型并非为接受自然语言导师指导作为输入而设计。它们可以帮助描述学生所做的事情，但并不能总是说明学生对特定解释、提示或苏格拉底式问题会如何反应。
StudentSim 通过受教育研究启发的两个维度来定义目标。教育工作者通常区分学习者独立能做什么以及在支持下能做什么。维果茨基的“最近发展区”概念揭示了当前独立表现与有指导下的表现之间的差距。StudentSim 将这一理念转化为两个评估目标。行为忠实度用于衡量模拟器是否与特定学生在测试题上的记录反应一致。指导响应性用于衡量模拟器在阅读导师指导后是否更新其反应。
这两个目标是互补的。仅能模拟过去学生行为的模拟器可能对预测有帮助，但无法说明教学干预是否起了作用。始终遵循辅导老师的模拟器可能能够流畅地回应，却可能无法准确反映某个学生的优势、劣势以及可能的错误。AI 辅导老师训练需要这两种信号：学习者的初始状态以及指导对学习者表现的影响。
利用稀疏的学生记录对个性化模拟器进行训练
StudentSimEval完全由公开可用的学习者数据集构建，这些数据集是为研究用途而发布的去标识化记录。这些记录不包含任何个人识别信息，每个个性化模拟器仅针对其所代表的学生们的去标识化记录进行训练。
真实的学生数据在个体层面往往很稀疏。学习者可能只提供少量的论文、答案或互动记录。为每位学生从头开始训练独立的模拟器，会导致过拟合现象，并且需要每个模型重新学习该领域中的常见模式。
StudentSim 使用两阶段训练流程。在第一阶段中，模型基于同一领域内多个学生的数据进行训练。此阶段能够学习常见的响应格式、常见错误以及学生在得到指导后修改数据的常见方式。在第二阶段中，模型针对某个学生自己的数据进行专门训练，从而生成该学生的个性化模拟器。
评估涵盖三个不同类型的反应领域。在棋类游戏中，模拟器能够预测玩家的下一步行动以及该玩家在接受指导后如何调整策略。在第二语言英语写作中，它生成符合学习者的错误模式的文章，并在教师反馈后预测修正方式。在数学领域，它预测学生的选择题答案，以及学生在了解解释后是否进行更新。 在这些领域当中，StudentSimEval 也采用相同的原则：将所有方法在相同的学生训练记录以及相同的测试评估记录上进行比较。
StudentSim在三个领域都优于主要的基准模型。例如，在棋类比赛中，StudentSim的行为忠实度达到0.5150，指导响应性达到0.9067。GPT-5.4则分别达到0.2316和0.7186。Maia2是一种专门用于棋类比赛的人类走法预测模型，其数值分别为0.4535和0.2721。 该比较展示了基础模型家族之间的差异：GPT-5.4能够响应指导，但无法可靠地模拟特定学生的行为表现；而 Maia2则能更精确地预测人类棋局动作，但却没有自然语言指导功能。
使用模拟反馈来提升人工智能辅导系统
该研究还探讨了训练有素的学生模拟器能否为导师优化提供反馈。在一项国际象棋导师强化学习研究中，导师收到一个棋局以及学生之前的错误走法后，会生成指导建议。在此过程中，学生模拟器的参数保持不变，它读取指导建议后生成修正后的走法。 奖励基于学生之前一步与模拟器修改后的一步在棋步质量上的改善情况，该改善是依据 Stockfish 作为独立国际象棋引擎的反馈结果来确定的。
该研究比较了三种情况：一种没有强化学习的监督式微调导师；一种以 GPT-5.4 作为模拟学生奖励来源而训练的导师；以及一种以 StudentSim 作为奖励来源而训练的导师。所有情况都使用相同的导师策略、监督起始点及强化学习设置。随后，人类国际象棋专家在不知情的情况下对导师的回应进行评估。
StudentSim 奖励使导师在所有评估指标上获得最高评分。使用 StudentSim 训练的导师准确率达到了 90.5%，而没有 RL 基线的成绩为 75.7%，GPT-5.4 奖励条件下的成绩为 71.6%。其指导质量和个性化表现也获得了更高评价。这一结果证明了，基于真实学习者数据训练的学生模拟器能够提供有用的反馈，从而帮助提升人工智能导师的性能。
展望未来
StudentSim 并不会消除教育研究中对真实学习者的需求。针对学习成果、安全性、易用性以及课堂适配性的评估而言，人类研究仍然至关重要。学生模拟器的作用出现在开发过程的早期阶段：它们可以帮助研究人员测试辅导策略、比较模型，并在采用成本更高的真实学生研究之前优化训练信号。
更大的方向是构建人工智能辅导系统，这些系统能够从学生的反应中学习，而不仅仅从专家撰写的解释或静态的正确性标签中学习。StudentSim提供了一种方法：使用真实的学习记录来训练个性化模拟器，根据独立行为和对指导的响应来评估这些模拟器，并将其作为可扩展的反馈来源用于辅导师培训。 未来的研究可以将这种方法拓展到更长的学习过程、更多学科、更丰富的学生档案，以及那些将模拟反馈与真实学习成果联系起来的研究上。
论文以及 StudentSim 训练与评估代码，包括 StudentSimEval 协议，均可公开获取。
来源
论文 代码模拟学生学习以实现更好的 AI 辅导 这篇文章最初发表于 Microsoft Research。