lyogavin/airllm

它是什么

AirLLM 由 lyogavin 开发，通过分层加载与推理优化，让单张 4GB 显存的 GPU 也能跑起 70B 乃至 2.8T 参数的大模型，无需多卡或量化压缩。

核心亮点

• 4GB 显存跑 70B：按层加载权重，显存占用与模型规模解耦
• 无需量化：保留原始精度，避免量化带来的质量损失
• 极简 API：几行代码即可替换 HuggingFace 推理流程
• 支持主流模型：Llama、Qwen、ChatGLM 等开箱即用

为什么火

大模型推理的显存门槛一直是个人开发者的痛点。AirLLM 用“时间换空间”的思路把门槛从 A100 拉低到消费级显卡，加上 Apache-2.0 协议和即插即用的接口，迅速在中文社区引爆，单日新增 1000+ Star。

适合谁用

显存有限的个人开发者、学生、想本地跑大模型但买不起多卡的研究者，以及需要低成本部署验证的团队。

快速上手

pip install airllm

from airllm import AutoModel
model = AutoModel.from_pretrained("meta-llama/Llama-2-70b-hf")

直接调用 model.generate() 即可，其余交给 AirLLM 处理。