三年磨一剑，68万字浓缩成38万字：我的新书《语言之舞》终于与大家见面了！

​​​​ 一、LLMs的发展史 7 1.1、NLP技术发展的四波浪潮 8 1.1.1、SLMs(统计语言模型) 11 1.1.2、NLMs(神经语言模型) 13 1.1.3、PLMs(预训练语言模型) 18 1.1.4、LLMs(大语言模型) 20 1.1.5、NLP领域的多种技术对比 26 1.1.6、代码实战 31 1.2、LLMs发展的重要历史节点 33 1.2.1、2017年诞生Transformer架构(NLMs新的里程碑) 33 1.2.2、2017至今基于Transformer系列的PLMs列表 34 1.2.3、2019年以来的LLMs(B级以上) 35 1.2.4、两大代表性模型对比：GPT-1和BERT 38 1.2.5、LLMs能力发展的三个阶段：基础→涌现→增强 40 1.3、LLMs家族的简介 41 1.3.1、GPT家族 42 1.3.2、LLaMA家族 52 1.3.3、PaLM家族 61 1.3.4、GLM家族 63 1.3.5、Qwen家族 69 二、LLMs的核心要素 69 2.1、大规模数据 70 2.1.1、常用的预训练数据 72 2.1.2、常用的微调数据 78 2.1.3、现有LLM预训练数据中各种数据源的比例 87 2.2、模型架构 88 2.2.1、Transformer结构 88 2.2.2、基于Transformer的三大主流LLMs架构 91 2.2.3、代码实战 113 2.3、模型评估体系—指标与基准 114 2.3.1、模型评估指标 116 2.3.2、大模型评估基准 130 2.3.3、评估维度的分类 137 2.3.4、内容安全的评估 143 2.4、模型优化 148 2.4.1、Transformer架构本身优化 148 2.4.2、新的模型架构—超越传统注意力机制的新型架构 163 2.4.3、模型集成或合并 164 2.5、模型解码机制 173 2.6、模型训练与使用的四大阶段对比 176 三、LLMs构建流程 179 3.1、数据准备并初步清洗 181 3.1.1、数据采集 182 3.1.2、数据过滤 184 3.1.3、实战案例 191 3.2、数据预处理 192 3.2.1、数据精洗 193 3.2.2、分词及其预处理 193 3.2.3、分词器 208 3.2.4、定义模型的输入 213 3.2.5、案例理解本章节的核心思路 216 3.3、模型预训练与评估 217 3.3.1、模型搭建 217 3.3.2、模型预训练与优化 222 3.3.3、预训练后评估 257 3.4、模型微调与策略 264 3.4.1、LLMs知识更新的概述 264 3.4.2、模型微调 266 3.4.3、微调策略 291 3.5、模型推理与优化 324 3.5.1、模型推理概述 324 3.5.2、推理阶段可调参数 327 3.5.3、模型推理加速主流技术 328 四、LLMs的模型部署与监控 346 4.1、模型部署 347 4.1.1、模型部署的概述 347 4.1.2、分布式训练环境中服务器的软硬配置 348 4.1.3、Docker部署 350 4.2、模型监控与维护 351 4.3、实战案例 352 (1)、基于多台服务器进行分布式训练的设计思路 352 (2)、基于多台服务器进行分布式训练的python代码示例 353 五、LLMs的微调与推理部署实战案例 353 5.1、基于LLaMA-3模型实战 354 5.1.1、微调实战 354 5.1.2、推理部署实战 359 5.1.3、在线测试使用实战 369 5.2、基于ChatGLM-3模型实战 372 5.2.1、微调实战 372 5.2.2、推理部署实战 379 5.2.3、在线测试使用实战 383 5.3、基于GPT-4o模型实战 384 5.3.1、基于官方API在线推理测试 384 5.3.2、基于官方Web界面在线测试 385 5.4、基于GLM-4模型实战 389 5.4.1、微调实战 389 5.4.2、推理部署实战 391 5.4.3、在线使用实战 395 5.5、基于Qwen-2系列模型实战 397 5.5.1、微调实战 397 5.5.2、推理部署实战 398 5.5.3、在线测试使用实战 400 六、LLMs项目的构建与应用 401 6.1、生成式AI项目生命周期的流程 402 6.2、企业级LLMs构建与实现的通用流程 406 6.2.1、如何选择优质的应用场景 407 6.2.2、如何实现企业级ChatGPT 411 6.3、基于LLM(作为技术手段)的研究方向 418 6.3.1、自然语言处理（NLP）任务 418 6.3.2、信息检索和推荐系统 418 6.3.3、多模态和知识图谱增强 419 6.3.4、基于LLM的智能体 419 6.4、基于LLM(作为工具)的领域应用 420 6.5、基于LLM的企业级需求和应用场景 420 6.5.1、LLM的结构化输出 421 七、LLMs的基础用法 423 7.1、提示工程的概述 423 7.2、提示的设计要素和策略 427 7.2.1、提示的设计要素 427 7.2.2、提示词内容的设计策略 428 7.3、提示设计的方法论 431 7.3.1、ICL上下文学习 431 7.3.2、CoT思路链提示 433 7.3.3、PaS/PCTS规划复杂任务解决 436 7.3.4、对比ICL、CoT、PCTaS 437 7.3.5、提示设计方法论分类 438 7.4、提示设计实践指南和优秀框架 441 7.4.1、主流大模型企业推荐的提示词示例 441 7.4.2、引导LLMs提示的一些官方内嵌示例 450 7.4.3、提示设计的优秀框架 454 八、LLMs的进阶与增强用法 455 8.1、LLM的局限性及其解决方案 456 8.1.1、LLMs中幻觉现象的简介与解决 457 8.1.2、LLMs中毒性现象的简介与解决 459 8.1.3、LLMs中虚假信息现象的简介与解决 460 8.2、RAG 460 8.2.1、RAG的概述 460 8.2.2、RAG的失败案例及其优化 471 8.2.3、RAG的发展及其挑战 496 8.2.4、RAG的最新研究 497 8.2.5、RAG案例实战 502 8.3、ETA 509 8.3.1、ETA的概述 509 8.3.2、ETA实战 515 8.3.3、工具调用排行榜 518 8.4、Agent 519 8.4.1、Agent概述 519 8.4.2、Agent常用能力 528 8.4.3、Agent设计的思想和主流模式 531 8.4.4、Agent应用的分类 540 8.4.5、Agent实战(规划+使用工具+交互) 541 8.5、长上下文建模 543 8.5.1、大窗口技术的概述：关心输入端 543 8.5.2、长上下文建模实战案例 546 8.5.3、长文本生成技术的概述：侧重输出端 547 8.6、技术探讨与分析 547 8.6.1、RAG技术与大窗口技术的争论—冲突还是共生 547 8.6.2、Agent技术的自主性与ETA技术的可控性权衡的争论 549 九、LLMs的训练/推理框架、部署工具和提示库 551 9.1、LLMs的开发框架 551 9.1.1、侧重数据处理的库或框架 551 9.1.2、侧重模型构建的库或框架 552 9.2、LLMs的训练、评估、微调和推理框架 554 9.2.1、侧重训练的库或框架 554 9.2.2、侧重评估的库或框架 557 9.2.3、侧重微调的库或框架 557 9.2.4、侧重推理的库或框架 559 9.3、LLMs的部署和应用工具 562 9.3.1、Web框架和API服务 562 9.3.2、请求和并发处理 563 9.3.3、用户和界面库 563 9.3.4、实验跟踪和可视化 564 9.3.5、容器化和编排 564 9.3.6、高级的LLM部署和服务工具 565 9.4、LLMs的向量数据库 566 十、挑战与未来方向 567 10.1、数据的偏见与公平性 567 10.2、模型的可解释性和透明度 568 10.3、模型的规模与资源消耗 569 10.4、模型的多模态能力 570 10.5、知识的整合与更新 571 10.6、内容安全和道德伦理 572 10.7、与其他AI技术的集成 574 十一、附录：资源和工具 575

格子衫程序猿的三年之约：我的新书《语言之舞》终于破茧成蝶！

大家好，我是"一个处女座的程序猿"。今天，我想和大家分享一个让我激动不已的消息——我的新书《语言之舞：大语言模型应用实战全书》在2025年8月下旬正式出版了！

处女座的"洁癖"式写作：三年磨一剑，只为完美交付

作为一个典型的处女座，我对细节的执着和对完美的追求几乎刻在骨子里。正如我的座右铭所说：“渡己是一种能力，渡人是一种格局。”写这本书，既是我对自己能力的一次挑战，也是我希望能够帮助更多人理解和掌握大语言模型技术的一种方式。

写书，既是对自己技术沉淀的挑战，更是希望用经验为后来者点亮一盏灯。

三年前，当我开始构思这本书时，人工智能领域正经历着翻天覆地的变化。大语言模型（LLMs）技术飞速发展，深刻改变着自然语言处理领域，并逐渐渗透到各行各业。然而，我发现市面上关于LLMs的书籍和资料，要么过于理论化，缺乏实际操作指导；要么过于碎片化，难以形成系统性的认知。作为一个在人工智能和区块链技术领域深耕多年的学者，我深感有必要填补这一空白。

68万字到38万字的"断舍离"：处女座的极致减法

于是，我开始了长达三年的写作之旅。处女座的特质在这段旅程中表现得淋漓尽致——我对每一个技术细节都反复推敲，对每一个代码示例都亲自验证，对每一个案例都精心挑选。最终，68万字的原稿经过无数次修改和精简，浓缩成了现在的38万字。这个过程虽然艰辛，但每当想到这本书能够帮助读者更好地理解和掌握LLMs这一前沿技术，我就觉得一切都值得。

• 砍掉晦涩理论：用程序员思维拆解LLMs核心原理，比如把"注意力机制"比作"代码里的全局变量检索"；
• 实战案例优先：从金融风控到医疗问答，每个案例都经过本地化验证，拒绝"纸上谈兵"；
• 工具链全景图：汇总训练/推理框架、部署工具、提示库，像整理工具箱一样分类标注。

最终，38万字的精炼版诞生——每一页都值得你划重点！

这本书，到底在"舞"什么？

《语言之舞：大语言模型应用实战全书》不仅仅是一本技术书籍，它是我对LLMs技术多年研究和实践的结晶。在书中，我力求将理论知识与实际应用案例相结合，帮助读者建立完整的知识体系。从LLMs的发展历史、核心要素、构建流程，到模型部署、微调、推理，以及各种高级应用和未来发展方向，我都进行了全面而系统的阐述。

特别值得一提的是，书中提供了多个基于不同主流LLMs（如GPT家族、LLaMA家族、PaLM家族、GLM家族、Qwen-2系列模型等）的实战案例，涵盖了微调、推理部署、RAG、Agent等多种应用场景。这些案例都经过我的精心挑选和验证，代码规范且易懂，即使是编程基础薄弱的读者也能轻松理解和运行。

《语言之舞》不是一本"技术词典"，而是一场理论与实践共舞的沉浸式体验：

• 第一章到第三章：从LLMs基础到模型架构，像搭积木一样带你构建知识体系；
• 第四章到第六章：数据预处理、微调技巧、提示工程，全是踩坑总结的"避坑指南"；
• 第七章到第九章：实战案例+工具链详解，直接复用代码片段，省去90%试错时间；
• 第十章：犀利剖析数据偏见、资源消耗等挑战，甚至预言多模态融合的未来战场。
• 无论你是科研小白还是企业CTO，都能找到自己的舞步节奏！

作为一个程序猿，我深知技术更新迭代的速度之快。因此，在写作过程中，我始终紧跟LLMs技术发展前沿，确保书中内容涵盖最新的模型架构、训练方法、部署工具和应用场景。我相信，通过这本书，读者不仅能够掌握LLMs的理论知识和实践技能，还能够将其应用于实际项目中，为推动LLMs技术的发展贡献力量。

处女座的完美主义让我对这本书的每一个细节都力求尽善尽美，但我也深知，技术日新月异，书中难免存在不足之处。在此，我诚挚地邀请各位读者批评指正，让我们一起在LLMs的道路上不断前行。

结语

最后，我想说的是，学习大语言模型技术就像一场舞蹈，需要理论与实践的完美配合。希望《语言之舞：大语言模型应用实战全书》能够成为你在这场舞蹈中的得力伙伴，帮助你跳出属于自己的精彩舞步。

想系统掌握LLMs却不知从何下手；
苦于理论无法落地到实际项目；
渴望站在AI浪潮之巅而非岸边观望……
《语言之舞》就是你的"舞伴"——从入门到精通，从理论到实战，陪你跳出属于AI时代的华丽舞步！

新书已上架各大平台，搜索"语言之舞"即可开启你的LLMs进阶之旅！
期待与大家在书的世界里相遇！