欢迎来到 AI 的世界。曾经 AI 还是科幻，但如今大多数数字产品要么融入 AI 功能，要么由 AI 驱动，要么正打算这么做——不管它是 Google、微软，还是一家想让业务流程更顺畅的非科技公司。
所以，为了跟上未来，学生和开发者都想搞懂 AI 模型；而如果能在自己的电脑上本地运行它们，那就再好不过了——意味着不用付 API 费用，也没有月费。只要你的电脑或笔记本有显卡、能上网，这件事就能轻松做到。
过去这几个月，许多开源工具成熟到了这样的程度：在 Windows 11 上跑起一个私密的、ChatGPT 风格的离线助手，从「折腾一下午」变成了「大约五分钟」。
而且，一旦你算算云端 AI 的账，转向本地就很合理了。它确实越来越聪明，但同时也一直在走表计费：每次 API 调用都要花钱，每个提示都离开你的机器，服务一挂你就只能干等。本地跑模型一次解决全部三个问题。
所以我们写了这篇指南，涵盖十一款免费开源工具，能在 Windows 11 上直接运行Llama、DeepSeek、Qwen、Gemma、Phi 和 Mistral这类模型。我会按你的硬件情况、以及你对终端的接受程度，告诉你哪些值得花时间；也会点出那些名声在外、其实并不算「开源」的。
为什么要在 Windows 11 上本地运行 AI 模型？
隐私是最显而易见的吸引力。模型跑在你自己的电脑上，你的提示就永远不会碰到别人的服务器。如果你要处理客户文档、法律草稿或私人笔记，光这一条就值回配置的功夫。没有任何东西会被记录在你看不到的地方。
然后是成本。云端模型按 token 收费，对重度用户或者整天测提示词的开发者来说，这些 token 累积成真实账单。本地模型只花你一点电费。一次性下载之后，之后每一次查询都免费，永远免费。
离线可用是最被低估的一点。模型一旦躺在你的硬盘上，它完全不需要联网就能跑——在飞机上或者在网络不稳的地方，这一点比你想象的更重要。
对开发者来说，快速试验才是杀手级特性。你可以对着本地端点打上千次测试调用，而不用盯着速率限制、也不用怕**账单。如果你的工作还涉及GDPR或类似规定，把推理留在设备上还能悄无声息地消除一整类关于数据流向的合规问题。
你需要什么硬件？
大家最容易搞错的一点：起步不需要昂贵配置。
一台现代的、带 8GB 内存的 Windows 11 电脑就能流畅跑 1B 到 3B 的小模型，只要你愿意等一拍，也能应付一些7B–8B 模型。这已经涵盖摘要、问答和轻度编程辅助了。
16GB是舒服的中间档，能流畅跑7B–8B 模型，还能摸到13B–14B 的门槛。上到 32GB，更大的模型也不再让系统吃力。
独立显卡是可选项，但会改变一切。模型载入到显卡的显存里，能把迟钝的回答变成即时的回答。没显卡？你依然可以只靠CPU跑，把模型控制在8B以下，在老硬件上大概每秒几个词。随便用用没问题，长时间写代码就很煎熬了。
至于显存怎么算，真正好用的经验法则是：量化模型在磁盘上的文件大小，约等于它运行时需要的内存。一块RTX 3060 Ti这样的8GB 卡能从容应付 7B–8B 模型，而像DeepSeek-Coder-V2 这样的 16B 模型则正好落在 RTX 3060 Ti / RTX 4060 这一档。跑 24B–32B 模型，你需要16GB以上显存，也就是 RTX4090或同级。
Windows 11 上最佳的免费开源 AI 软件
1. Ollama
Ollama 是本地跑模型的开发者里的默认选择。它走的是面向开发者、命令行优先的路线，带 REST API 和 Docker 支持，很适合嵌进应用和流水线。
主要特性：
一条命令拉模型、内置运行在 11434 端口的 API 服务、自动检测显卡。在有显卡的机器上，它会自动接上 CUDA 或 ROCm，把响应时间从几分钟压到几秒。
支持的模型：它有着最大的模型库，超过 100 个模型，对 OpenAI 格式的 API 兼容性最好。Llama、Qwen、DeepSeek、Gemma、Phi、Mistral 等等一大堆。
上手难度：命令行。不算难，但如果你坚决不碰终端，那就劝退了。
- 优点：模型选择海量、API 可靠、体积小、无遥测。
- 缺点：自身没有聊天 GUI，得配上 Open WebUI 才有。
- 最适合：开发者，以及任何在本地模型之上做开发的人。
2. LM Studio
如果说 Ollama 适合开发者，LM Studio则提供了更友好的图形界面，适合不熟悉命令行的用户。它内置 Hugging Face 模型搜索，并提供本地 API 服务，无需使用命令行。
