主要内容本文聚焦于基于语音的认知障碍自动评估，针对现有方法在跨语言和跨临床场景下泛化能力不足的问题，提出了首个用于评估大型语言模型（LLMs）在该任务中跨语言和跨站点泛化能力的基准CogBench。研究使用统一的多模态流程，在涵盖英语和普通话的三个语音数据集（ADReSSo、NCMMSC2021-AD、新收集的CIRE）上评估模型性能。结果显示，传统深度学习模型跨域迁移时性能大幅下降；而配备思维链提示的LLMs适应性更强，但性能受提示设计影响；通过低秩适应（LoRA）对LLMs进行轻量级微调，能显著提升其在目标域的泛化能力。研究还公开了数据集、代码和评估脚本，以促进相关研究。创新点提供了新的普通话数据集CIRE，该数据集来自自然社区环境，支持语言和人口统计学多样化的认知评估研究。构建了首个基于语音的认知评估跨语言和跨站点基准，结合两个中英文公共数据集和额外测试集CIRE，支持对代表性小规模模型（SSMs）和多模态大型语言模型（MLLMs）的综合评估。通过系统的提示工程研究MLLMs的应用，评估了零样本、专家知识（EXP）和思维链（CoT）提示策略（结合多数投票），并与时域和频域SSMs进行对比。比较了SSMs和MLLMs在特定领域的域适应性能，表明微调后的MLLMs具有更优的泛化能力，首次证明MLLMs可有效作为通用认知障碍筛查工具。摘要基于自发语音的认知障碍自动评估为早期认知筛查提供了一种有前景的非侵入性途径。然而，当前方法在不同语言和临床场景中部署时，往往缺乏泛化 CogBench: A Large Language Model Benchmark for Multilingual Speech-Based Cognitive Impairment Ass...
主要内容本文聚焦于基于语音的认知障碍自动评估，针对现有方法在跨语言和跨临床场景下泛化能力不足的问题，提出了首个用于评估大型语言模型（LLMs）在该任务中跨语言和跨站点泛化能力的基准CogBench。研究使用统一的多模态流程，在涵盖英语和普通话的三个语音数据集（ADReSSo、NCMMSC2021-AD、新收集的CIRE）上评估模型性能。结果显示，传统深度学习模型跨域迁移时性能大幅下降；而配备思维链提示的LLMs适应性更强，但性能受提示设计影响；通过低秩适应（LoRA）对LLMs进行轻量级微调，能显著提升其在目标域的泛化能力。研究还公开了数据集、代码和评估脚本，以促进相关研究。创新点提供了新的普通话数据集CIRE，该数据集来自自然社区环境，支持语言和人口统计学多样化的认知评估研究。构建了首个基于语音的认知评估跨语言和跨站点基准，结合两个中英文公共数据集和额外测试集CIRE，支持对代表性小规模模型（SSMs）和多模态大型语言模型（MLLMs）的综合评估。通过系统的提示工程研究MLLMs的应用，评估了零样本、专家知识（EXP）和思维链（CoT）提示策略（结合多数投票），并与时域和频域SSMs进行对比。比较了SSMs和MLLMs在特定领域的域适应性能，表明微调后的MLLMs具有更优的泛化能力，首次证明MLLMs可有效作为通用认知障碍筛查工具。摘要基于自发语音的认知障碍自动评估为早期认知筛查提供了一种有前景的非侵入性途径。然而，当前方法在不同语言和临床场景中部署时，往往缺乏泛化 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
