StayLameBro/backburner
Your iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable
Star 增长趋势（本站收录历史）
StayLameBro/backburner
深度介绍
它是什么
Backburner 是一个让 iPhone 与 Mac 协同推理大模型的开源工具。通过一根 USB-C 线，iPhone 可以为 Mac 分担 27B 级别模型的推理负载——手机负责读 prompt，Mac 负责生成。
核心亮点
- USB-C 直连：绕过 Wi-Fi 延迟，带宽更稳定，prompt 读取速度显著提升
- 投机解码：利用 iPhone 的神经引擎做 draft model，Mac 用 Metal 验证，实现加速
- 更大上下文：把 KV cache 或 prompt 处理卸载到手机端，释放 Mac 内存
- 纯本地：基于 llama.cpp，无云端依赖，数据不出设备
为什么火
它踩中了两个热点：本地大模型推理 + 苹果生态协同。用闲置的 iPhone 算力给 Mac 加速，思路巧妙且实用，844 星说明开发者对“榨干苹果硬件”这件事有强烈兴趣。
适合谁用
拥有 iPhone 和 Apple Silicon Mac、想在本地跑 Qwen 等大模型、对推理速度或上下文长度有要求的开发者与极客。
快速上手
git clone https://github.com/StayLameBro/backburner
cd backburner && pip install -r requirements.txt
# 连接 iPhone，按 README 配置后启动