ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Awesome-Chinese-LLM 完全指南:快速选型、部署与微调中文大模型

Awesome-Chinese-LLM 完全指南:快速选型、部署与微调中文大模型 Awesome-Chinese-LLM 完全指南快速选型、部署与微调中文大模型【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM你想在自己的服务器上跑一个中文大模型却不知道该选哪个底座、配哪个数据集、用哪个微调框架Awesome-Chinese-LLM 就是一张开源中文大模型资源地图底座模型、垂直领域微调模型、数据集、训练与推理框架、评测和教程100 资源全部分类整理好。照着地图查3 分钟就能搞清楚从哪下手、怎么部署。两个真实场景你大概率踩过场景一想本地跑大模型却挑花了眼。搜中文大模型开源几百个仓库扑面而来参数从 1B 到 456B上下文长度从 2K 到 4M有的能商用、有的仅限研究。随手挑一个结果要么是许可证踩雷要么是显存直接爆掉。场景二想要个行业大模型以为得自己从零训。法律咨询、问诊问答、财报分析——其实这些方向仓库里都收录了现成的微调模型和配套数据集医疗方向就有近 20 个开源模型可以直接拉来用。Awesome-Chinese-LLM 接住的就是这两个场景把模型、应用、数据、框架、评测、教程整理成一张能查的地图你只需要按目录检索不用自己满世界找。医疗方向是收录最密的板块之一问诊问答、影像诊断、心理健康、中医药等场景都有对应模型核心能力拆解地图里最有用的四块 底座选型速查表参数、上下文长度、许可证一表看懂先说结论选底座模型只需要盯三列——参数规模、最大上下文、是否可商用。为什么重要参数规模决定你的显存够不够上下文长度决定能不能塞进长文档商用许可决定业务风险。举例来说MiniCPM 只有 2.7B 参数端侧设备就能跑XVERSE-13B-256K 支持 256K 上下文能整篇消化几十页的合同而概览表里每个底座都标了可商用还是部分可商用避免上线后才发现踩雷。怎么用打开 README.md 顶部的常见底座模型细节概览表ChatGLM、Qwen、InternLM、Baichuan、Yi、DeepSeek、MiniMax 等主流底座的规格一目了然。这张图谱把每个底座和它衍生出的微调模型按血缘画了出来一眼能看出某垂直模型是从哪个底座微调来的垂直领域微调大模型八大方向开箱即用先说结论医疗、法律、金融、教育、科技、电商、网络安全、农业 8 个方向各有专区全仓库收录了 40 多个垂直微调模型多数附数据集和微调代码。为什么重要垂直模型已经吃过领域数据。比如法律方向收录了獬豸、LexiLaw、DISC-LawLLM 等 10 个模型其中多个连判决文书数据、法考数据集都开源了拿来就能微调自己的版本。怎么用顺着 README.md 目录跳到2.1 垂直领域微调想看清某个领域的全貌直接打开 doc/ 目录下的思维导图源文件每个模型的数据来源和底座都有标注。法律方向全景图每个模型用的什么底座、什么数据、什么评测集全部画在一张图里训练数据集工具箱预训练、SFT、偏好数据分好类先说结论训练模型要用的三类数据——预训练语料、指令微调SFT数据、偏好对齐数据——在3. 数据集一节里已经分好类。为什么重要很多人卡住的地方不是模型是数据。这里既有 CLUECorpus2020 这种 100GB 的中文预训练语料也有 alpaca_chinese_dataset、COIG 等指令数据集还有 CValues、UltraFeedback 这类偏好对齐数据挑一个就能开训。怎么用继续预训练看预训练数据集做指令微调看SFT数据集做 RLHF 看偏好数据集。训练、部署、评测工具链按场景挑先说结论微调框架LLaMA Efficient Tuning、DeepSpeed-Chat、推理框架vLLM、LMDeploy、端侧 MNN、评测基准C-Eval、OpenCompass、CMMLU全部收在一处且每条都注明了优缺点。为什么重要部署侧 vLLM 吞吐量比 Transformers 高 14-24 倍仓库引用数据评测侧 C-Eval 有 13948 道题、覆盖 52 个学科跑一遍就知道你的模型能不能用。怎么用看 README.md 的4. 训练微调框架5. 推理部署框架6. LLM评测三节按你的显卡和场景挑避免装错工具。上手路径三步克隆地图并完成第一次选型 ⚡第一步拿到仓库git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM第二步认识 8 大板块README.md 目录分 8 块1 模型 / 2 应用 / 3 数据集 / 4 训练微调框架 / 5 推理部署框架 / 6 评测 / 7 教程 / 8 相关仓库。每条资源都有一句话简介和仓库地址不用逐个翻原文就能完成初筛。第三步按场景挑显存 8GB 以内、想本地跑找 2B-6B 档或带量化版本的模型如 MiniCPM-2B想做知识库问答跳到2.2 LangChain应用有现成的本地知识库问答方案想微调自己的垂直模型从3. 数据集挑数据再用4. 训练微调框架里的 LoRA 方案训练效果对比这张地图帮你省多少项目没有这张地图示例值有了这张地图找到可部署底座的时间搜索对比 3-5 天查表 10-30 分钟垂直领域模型候选数1-2 个单方向 5-20 个许可证风险用过才知道概览表已标注可商用训练数据寻找自己从零收集预训练/SFT/偏好三类现成上面是示例数字你可以按自己的实际情况替换。结构是真实的仓库收录 100 资源底座覆盖 1B 到 456B 参数的完整区间长文本场景最高支持 4M tokens 上下文。避坑清单新手最常踩的五个坑与对策踩坑场景对策只看参数量小就部署结果许可证禁止商用选模型前先查底座概览表的是否可商用列LLaMA 系列部分模型标注的是部分可商用直接微调英文底座中文效果差从列表里挑中文优化过的底座ChatGLM、Qwen、Baichuan 等或选中文版衍生模型消费级显卡硬上 30B 模型优先端侧模型MiniCPM 2.7B或 GGUF/4bit 量化版仓库注明了哪些模型带量化权重拿了垂直模型却不知道它从哪个底座微调来查血缘图谱doc/LLM.md 按底座归类了每个微调模型的出身微调完不知道效果行不行先跑 C-Eval、CMMLU 等中文评测基准通过再考虑上线进阶与选型按目标走不同的路这个仓库本质是个路线图规划器想部署就看第 5 节和第 2.3 节想微调就看第 4 节和第 3 节想评测看第 6 节想系统学习看第 7 节含中文大模型入门课和提示工程指南。取舍要点它是地图不是施工图确定模型后请到对应官方仓库看部署细节。你的目标优先看哪节代表入口本地/私有化部署5. 推理部署框架vLLM高吞吐、LMDeploy量化推理、MNN端侧微调垂直模型4. 训练微调框架 3. 数据集LLaMA Efficient TuningLoRA/QLoRA知识库问答应用2.2 LangChain应用LangChain-ChatGLM-Webui模型评测对比6. LLM评测C-Eval、CMMLU、OpenCompass按底座 → 衍生模型组织的分类谱系帮你理清中文大模型开源生态的家谱关系现在开始10 分钟完成你的第一次中文大模型选型 选底座、选数据、选框架——这三件事平时要花你一周现在查表就行。用上手路径第一步的命令克隆仓库打开 README.md从底座概览表开始挑定参数档位、核对商用许可、确认上下文长度然后按第三步的场景分支走。你的第一个可部署的中文大模型今天就能选出来。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进