SQL-Eval本地模型部署使用Hugging Face和vLLM运行评估【免费下载链接】sql-evalEvaluate the accuracy of LLM generated outputs项目地址: https://gitcode.com/gh_mirrors/sq/sql-evalSQL-Eval是一个用于评估LLM生成SQL输出准确性的工具通过本地部署模型可以更高效地进行评估工作。本文将介绍如何使用Hugging Face和vLLM在本地部署模型并运行SQL-Eval评估。准备工作首先需要克隆SQL-Eval项目仓库使用以下命令git clone https://gitcode.com/gh_mirrors/sq/sql-eval进入项目目录后安装所需依赖cd sql-eval pip install -r requirements.txtHugging Face模型准备SQL-Eval中使用了Hugging Face的transformers库来处理模型。在gcs_eval_checkpoints.py文件中可以看到相关的导入语句from transformers import AutoTokenizer这表明项目使用了Hugging Face的Tokenizer来处理文本数据。你可以从Hugging Face Hub下载适合SQL评估任务的预训练模型例如from transformers import AutoModelForCausalLM model AutoModelForCausalLM.from_pretrained(your-model-name) tokenizer AutoTokenizer.from_pretrained(your-model-name)vLLM部署注意事项vLLM是一个高效的LLM服务库可以加速模型推理。但需要注意的是vLLM在macOS系统上不受支持。在main.py文件中明确指出vLLM is not supported on macOS. Please run on another OS supporting CUDA.因此如果你使用的是macOS系统需要考虑在支持CUDA的Linux系统上部署vLLM或者选择其他部署方案。运行评估完成模型部署后可以使用SQL-Eval提供的评估脚本进行评估。主要的评估入口文件是eval/eval.py你可以通过以下命令运行评估python main.py --model your-model-name --eval评估结果将保存在项目的结果目录中例如results_fn_bigquery/和results_fn_postgres/你可以查看这些目录下的文件来分析评估结果。总结通过Hugging Face和vLLM你可以在本地高效部署模型并运行SQL-Eval评估。只需按照上述步骤准备环境、下载模型、注意系统兼容性即可开始评估LLM生成SQL的准确性。如果在部署过程中遇到问题可以查阅项目中的utils/目录下的工具函数或者参考README.md获取更多帮助。【免费下载链接】sql-evalEvaluate the accuracy of LLM generated outputs项目地址: https://gitcode.com/gh_mirrors/sq/sql-eval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考