文章主要内容和创新点
主要内容
本文针对大型语言模型（LLMs）在基于JavaScript的地理空间计算与可视化代码生成任务中的表现，提出了首个多模态、函数级自动评估框架GeoJSEval。该框架包含三个核心组件：
- 标准化测试套件（GeoJSEval-Bench）：基于5个主流JavaScript地理空间库（Turf.js、JSTS、Geolib、Leaflet、OpenLayers）构建，包含432个函数级任务和2071个结构化测试用例，覆盖25种地理空间数据类型；
- 代码提交引擎：引导LLM生成代码并执行，存储输出结果；
- 评估模块：从准确性、输出稳定性、资源消耗、执行效率、错误类型分布等多维度量化评估，并集成边界测试提升鲁棒性。
研究使用GeoJSEval对18个最先进的LLM进行了全面评估，发现这些模型在空间语义理解、代码可靠性和函数调用准确性方面存在显著性能差异和瓶颈，为地理空间代码生成模型的标准化评估和优化提供了基础方法与工具。
创新点
- 首个针对性评估框架：提出GeoJSEval，是首个针对JavaScript地理空间代码生成的端到端自动评估框架，实现了从提示输入、代码生成到执行、结果比较和错误诊断的全自动化流程。
- 全面的基准测试套件：构建并开源GeoJSEval-Bench，涵盖432个函数级任
