【免费下载链接】mlx-serveNative LLM inference server for Apple Silicon. OpenAI Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with chat, music, voice, video generation.项目地址https://gitcode.com/gh_mirrors/ml/mlx-serve点击查看免费下载mlx-serve是一款专为 Apple Silicon 打造的本地大模型推理服务器它原生实现了 Anthropic 的/v1/messages接口——也就是说你可以把 Claude Code 的 API 请求指向自己 Mac 上的模型无需 API Key、不产生任何按 Token 计费代码也永远不会离开你的电脑。本文将带你用不到 5 分钟完成接入体验免费、离线、可断网使用的本地 Claude Code。为什么本地模型能完美驱动 Claude CodeClaude Code 本质上就是一个会说 Anthropic 协议的编码代理它发送请求、接收流式响应、解析工具调用。mlx-serve 实现的不是半个Anthropic 兼容层而是 Claude Code 真正用到的完整协议这一点在官方文档 docs/faq.md 中得到了确认能力说明流式输出完整的message_start → content_block_* → message_delta生命周期不会中途报协议错误扩展思考Extended Thinking思考以独立的thinking块流式返回与正文干净分离支持思考预算工具调用支持tool_useinput_json_delta流式小模型输出的残缺 JSON 会在 API 层自动修复Token 统计返回缓存命中等真实用量信息Claude Code 能像连云端一样看到缓存收益这意味着你日常在 Claude Code 里用到的读文件、改代码、跑命令等 Agent 循环在本地模型上全部照常工作。相关协议细节见 docs/api.md工具调用修复机制可参考 docs/gotchas/tool-calling.md。三步安装 mlx-serve一键安装步骤mlx-serve 不需要 Python 环境Zig 编写的后端 Swift 前端安装即开箱即用。1️⃣ 选择安装方式下载 macOS 应用菜单栏 App功能最全推荐或用 Homebrew 只装命令行版本brew install mlx-serve2️⃣ 下载并启动模型Ollama 风格断点续传mlx-serve run qwen3.6:27b # 或 gemma4、任意 MLX / GGUF 模型3️⃣ 验证服务器启动后默认监听http://127.0.0.1:11234Claude Code 等客户端即可连接。完整命令与参数说明见 docs/cli.md。零配置方案一一条命令启动 Claude Code这是最快路径——launch命令会自动读取当前服务器的模型列表和真实上下文窗口写入隔离配置目录不会污染你的~/.claude然后直接拉起 Claude Codemlx-serve launch claude这一条命令背后自动完成了以下工作设置ANTHROPIC_BASE_URLhttp://127.0.0.1:11234填充占位 API Key本地回环连接免验证把 Opus / Sonnet / Haiku 三个默认模型变量全部指向你的本地模型按服务器实际通告的上下文窗口写入CLAUDE_CODE_MAX_CONTEXT_TOKENS——这很关键Claude Code 对目录外模型默认假设 200K 窗口并据此自动压缩会话而 launch 会写入真实值其启动脚本的生成逻辑在 src/launch.zig 中实现。零配置方案二手动设置环境变量如果你更喜欢自己掌控Anthropic 兼容接入只需要环境变量不需要任何配置文件docs/integrations.mdexport ANTHROPIC_BASE_URLhttp://127.0.0.1:11234 export ANTHROPIC_API_KEY export ANTHROPIC_AUTH_TOKENmlx-serve export ANTHROPIC_DEFAULT_OPUS_MODEL模型ID export ANTHROPIC_DEFAULT_SONNET_MODEL模型ID export ANTHROPIC_DEFAULT_HAIKU_MODEL模型ID claude --model 模型ID模型 ID 通过GET /v1/models查看。接入成功后终端里的 Claude Code 显示的就是你本地的模型与用量不想碰终端MLX-Serve 应用的Code按钮如果你安装的是 macOS 应用MLX-Serve菜单栏托盘里的Code按钮会自动检测你 Mac 上装了哪些 Agent CLIClaude Code、Codex、OpenCode、pi 等点击后直接以预配置状态启动——环境变量、模型、上下文窗口全部替你配好。App Store 版本由于权限限制会展示可复制的启动命令。应用的 CLI 安装指引与启动命令生成逻辑位于 app/Sources/MLXServe/Services/CLISetupInstructions.swift。同一套能力还能反向兼容 OpenAI 协议的客户端如 Codex 走/v1/responses一份服务器、多种工具共用。本地模型怎么选按内存对号入座你的 Mac推荐模型说明16 GBGemma 4 E4B4-bit 常驻约 4.3 GB工具调用表现强32 GBQwen 3.6 27B带 MTP 侧车Agent 工作最优选原生 MTP 让编辑循环提速最高 1.8×96 GBDeepSeek V4 Flash284B 旗舰Agent 模式与工具调用同样支持其他任意 HuggingFace GGUF内置 llama.cpp 引擎同一个 Anthropic 端点直接可用选型细节与基准测试见 website/claude-code-local/index.html 专题页。本地模型跑 Claude Code 快不快快——Agent 流量恰恰是 mlx-serve 的主场热轮次约 0.1 秒Claude Code 每次请求都重复发送巨大系统提示词共享前缀 KV 缓存让第 N1 轮跳过绝大部分重复计算一条 30 KB 的系统提示词只需8 ms完成分词长提示词不卡死40K Token 的 MCP 重负载提示词预填充可能长达数分钟服务器每 5 秒发送一次 keepalive 心跳客户端不会超时编辑循环约 2× 提速文件编辑类工具调用大量回显已有代码、只改一小部分正是推测解码的最佳场景实测 Gemma 4 E4B 从 72 → 150 tok/s且逐 Token 校验保证输出完全一致常见问题真的完全免费吗是。无 API Key、无按 Token 计费推理全部由你的 Mac 完成模型下载一次后即可完全离线使用。其他编码 Agent 能用吗可以。pi、oh-my-pi、OpenCode、Codex、Hermes、Aider 以及 Zed 等编辑器都能接入同一台服务器各工具的完整配置见 docs/integrations.md。本地模型能力不如云端旗舰怎么办一个 27B 级本地模型不会匹敌云端前沿模型的智商但它是免费的、私密的、可全天候运行的——日常脚本、重构、调试、文档编写完全够用。小贴士如果想把 Claude Code 换成 OpenCode 或 Codex只需把mlx-serve launch claude换成对应名称其余流程完全相同。总结用 mlx-serve 免费跑 Claude Code 的完整路径只有三步装好服务器 → 跑起一个本地模型 →mlx-serve launch claude。从此你的编码代理不花一分钱、断网照常工作代码始终留在自己的 Mac 上。赞分享【免费下载链接】mlx-serveNative LLM inference server for Apple Silicon. OpenAI Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with chat, music, voice, video generation.项目地址https://gitcode.com/gh_mirrors/ml/mlx-serve点击查看免费下载相关推荐如何把 Ollama 接入 Anthropic Messages API 兼容接口供 Claude Code 使用如何把 Ollama 接入 Anthropic Messages API 兼容接口供 Claude Code 使用 Claude Code 是一个 agenti人工智能大模型模型推理服务本地部署vLLM 接入 Claude Code基于 Anthropic Messages API 的本地代理式编码实践vLLM 接入 Claude Code基于 Anthropic Messages API 的本地代理式编码实践 Claude Code 是 Anthropic人工智能大模型模型推理服务推理引擎本地部署Anthropic Claude API终极配置指南从零到精通的完整教程Anthropic Claude API终极配置指南从零到精通的完整教程 你是否曾经在使用Anthropic Claude API时遇到过这些问题响应莫名其示例工程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考