Continuum-AI-Corp/OrcaBonsai-27B-Uncensored

Runtime behavioral ablation for compressed LLMs. First target: Ternary Bonsai 2 27B — no weight modification or re-quantization. by OrcaRouter team

★ 496Fork: 56语言: Python协议: NOASSERTIONGitHub ↗

Star 增长趋势（本站收录历史）

深度介绍

它是什么

OrcaBonsai-27B-Uncensored 是 OrcaRouter 团队推出的运行时行为消融工具，专为压缩大模型设计。首个目标锁定三值量化 Bonsai 2 27B，无需修改权重、无需重新量化。

核心亮点

运行时干预：在推理阶段动态调整模型行为，不触碰原始权重文件
零重训成本：跳过耗时的再量化流程，直接对已压缩模型生效
三值量化友好：针对极低位宽场景优化，填补该领域工具空白

为什么火

压缩模型的行为控制长期依赖重训或微调，成本高且易破坏量化结构。该项目以“外挂式”思路绕开这一瓶颈，496 星的增长反映出社区对轻量级、可逆式模型调控方案的迫切需求。

适合谁用

需要快速解除压缩模型内容限制的研究者
部署三值量化模型、希望保留原始权重的工程师
对运行时行为干预技术感兴趣的 AI 安全从业者

快速上手

git clone https://github.com/Continuum-AI-Corp/OrcaBonsai-27B-Uncensored
cd OrcaBonsai-27B-Uncensored
pip install -r requirements.txt
python run_ablation.py --model bonsai-2-27b

具体参数请参考仓库 README 与示例脚本。