文章主要内容和创新点主要内容本文聚焦于使用大型语言模型（LLMs）从开放式情景判断测试（SJT）中提取与个人及职业技能相关的构念特征，以解决传统开放式SJT依赖人工评分、难以规模化的问题。背景：个人和职业技能（如沟通、团队合作等）对学生未来成功至关重要，但传统评估工具（如推荐信、个人陈述）存在标准化不足、真实性存疑等问题。开放式SJT虽能有效评估这些技能，但依赖人工评分，可扩展性差；现有NLP评分系统因构念效度不足（关注语言能力而非技能本身）难以适用。研究设计：以Casper SJT为研究对象，选取7个影响评分的构念特征（如对情景的理解、是否考虑多方视角等），使用162条响应数据，对比5种LLM（包括Claude Sonnet 4、o4-mini等）在零样本提示下与人工评分的一致性，并通过提示工程（增加特征水平描述）优化模型表现。结果：Claude Sonnet 4在多数特征上表现最佳，o4-mini经提示工程后一致性显著提升；不同LLM在不同特征上各有优势，部分特征（如“缺乏信息”）可通过简单模型识别，而复杂特征需依赖推理能力强的LLM。结论：LLMs在提取开放式SJT的构念特征上具有潜力，提示工程可提升表现，为自动化评分系统奠定基础。创新点首次探索LLMs提取SJT构念特征：突破传统NLP方法构念效度 Using LLMs to identify features of personal and professional skills in an open-response situation...
文章主要内容和创新点主要内容本文聚焦于使用大型语言模型（LLMs）从开放式情景判断测试（SJT）中提取与个人及职业技能相关的构念特征，以解决传统开放式SJT依赖人工评分、难以规模化的问题。背景：个人和职业技能（如沟通、团队合作等）对学生未来成功至关重要，但传统评估工具（如推荐信、个人陈述）存在标准化不足、真实性存疑等问题。开放式SJT虽能有效评估这些技能，但依赖人工评分，可扩展性差；现有NLP评分系统因构念效度不足（关注语言能力而非技能本身）难以适用。研究设计：以Casper SJT为研究对象，选取7个影响评分的构念特征（如对情景的理解、是否考虑多方视角等），使用162条响应数据，对比5种LLM（包括Claude Sonnet 4、o4-mini等）在零样本提示下与人工评分的一致性，并通过提示工程（增加特征水平描述）优化模型表现。结果：Claude Sonnet 4在多数特征上表现最佳，o4-mini经提示工程后一致性显著提升；不同LLM在不同特征上各有优势，部分特征（如“缺乏信息”）可通过简单模型识别，而复杂特征需依赖推理能力强的LLM。结论：LLMs在提取开放式SJT的构念特征上具有潜力，提示工程可提升表现，为自动化评分系统奠定基础。创新点首次探索LLMs提取SJT构念特征：突破传统NLP方法构念效度 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
