JustVugg/colibri
Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
Star 增长趋势（本站收录历史）
JustVugg/colibri
深度介绍
它是什么
Colibri 是一个纯 C 编写的轻量级推理引擎，专为在消费级硬件上运行前沿 MoE（混合专家）大模型而设计。零依赖，单文件即可编译。
核心亮点
- 专家流式加载：模型权重按需从磁盘流式读取，内存占用极低，让 100B+ 参数模型跑在 16GB 内存的机器上成为可能。
- 纯 C 实现：无 Python、无 CUDA 依赖，编译即用，跨平台兼容。
- 极致轻量：引擎本身仅几千行代码，启动快、开销小。
为什么火
它打破了“大模型必须配大显存”的固有认知。在本地跑前沿 MoE 模型的需求激增，而 Colibri 用极简方案实现了“小引擎驱动大模型”，单日 872 星的增长说明开发者对低成本本地推理的渴望。
适合谁用
- 想在笔记本或旧服务器上跑大模型的开发者
- 对推理引擎底层实现感兴趣的系统程序员
- 需要离线、隐私优先 AI 能力的场景
快速上手
git clone https://github.com/JustVugg/colibri
cd colibri && make
./colibri --model /path/to/moe-model
无需安装任何依赖，编译后直接指定模型路径即可运行。