magnitudedev/magnitude
Open source inference server that runs the best local models for your hardware, plugged into the agent you already use. Works with Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, and Cline.
📈 Star 增长趋势（本站收录历史）
magnitudedev/magnitude
🤖 深度介绍
它是什么
Magnitude 是一个开源的推理服务器，旨在让本地模型在个人硬件上发挥最佳性能，并无缝接入你现有的 AI 代理工具。它支持 Pi、OpenCode、Hermes、Claude Code 等主流代理，充当本地模型与代理之间的“桥梁”。
核心亮点
- 硬件自适应：自动检测 GPU/CPU 配置，优化模型加载与推理参数，无需手动调优。
- 即插即用：通过统一 API 兼容多种代理，替换云端模型只需改一行配置。
- 轻量高效：基于 TypeScript 构建，内存占用低，支持流式输出与并发请求。
- 开源透明：Apache-2.0 许可，无隐形成本，可完全私有化部署。
为什么火
上线 3 天狂揽 674 star，核心痛点在于：当前本地模型工具链碎片化严重，而 Magnitude 用“一个服务器适配所有代理”的极简设计，解决了开发者既想用本地模型保护隐私、又不想放弃现有工作流的矛盾。
适合谁用
- 隐私敏感型开发者：需在本地运行代码补全或聊天模型，但受限于代理兼容性。
- 硬件折腾党：拥有多台异构设备（如 Mac + RTX 显卡），希望统一推理入口。
- 离线环境团队：内网部署 AI 助手，需绕过云端依赖。
快速上手
# 安装
npm install -g @magnitude/server
# 启动（自动检测硬件）
magnitude start --model llama3.2
# 在 Claude Code 中配置
claude config set --apiBaseUrl http://localhost:8080
默认端口 8080，支持 OpenAI 格式 API，迁移成本近乎为零。