firelex/jeff
Millisecond decisions, any domain: a 0.8B open "System 1" model that picks between your options with calibrated probabilities. One base, swappable LoRA adapters, on your own hardware.
Star 增长趋势（本站收录历史）
firelex/jeff
深度介绍
它是什么
Jeff 是一个 0.8B 参数的轻量级「System 1」决策模型，专门用于在多个选项之间快速做出判断，并输出经过校准的概率分布。它不生成文本，只做选择。
核心亮点
- 毫秒级决策：0.8B 体量意味着极低延迟，适合嵌入实时系统
- 校准概率输出：不是简单的 softmax 打分，而是经过概率校准的置信度
- LoRA 热插拔：一个基座模型，通过切换 LoRA 适配器适配不同领域，无需重新训练
- 本地部署：完全跑在自己的硬件上，无 API 依赖
为什么火
大模型做决策往往「杀鸡用牛刀」——延迟高、成本大、输出不稳定。Jeff 反其道而行，用极小模型专注「选哪个」这一件事，配合可替换的 LoRA 实现领域泛化，切中了 Agent 工作流中对快速路由/筛选环节的真实需求。
适合谁用
- 构建 Agent 系统、需要快速工具选择或路由的开发者
- 对延迟敏感的在线决策场景（推荐、风控、意图分流）
- 想在本地跑决策模型、不愿依赖云端 API 的团队
快速上手
git clone https://github.com/firelex/jeff
pip install -r requirements.txt
# 加载基座 + 对应 LoRA，传入候选选项即可获得概率分布
MIT 协议，Python 实现，可直接集成进现有推理管线。