NVIDIA/Model-Optimizer

A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.

★ 4,729Fork: 667语言: Python协议: Apache-2.0今日 +354GitHub ↗

Star 增长趋势（本站收录历史）

深度介绍

它是什么

NVIDIA Model-Optimizer 是 NVIDIA 官方推出的统一模型优化库，集成了量化、蒸馏、剪枝、神经架构搜索、投机解码等 SOTA 技术，专为下游部署框架（TensorRT-LLM、TensorRT、vLLM 等）压缩深度学习模型、提升推理速度而设计。

核心亮点

一站式优化：无需在多个工具间切换，量化、剪枝、蒸馏、NAS、投机解码全部覆盖。
部署友好：优化结果直接对接 TensorRT-LLM、vLLM 等主流推理框架，开箱即用。
NVIDIA 官方背书：与自家硬件和软件栈深度协同，性能调优有保障。

为什么火

大模型推理成本高企，量化与压缩成为刚需。该项目背靠 NVIDIA 生态，天然适配 TensorRT 系列，加上今日 354 颗星的增长，说明开发者对“官方统一优化方案”期待已久。

适合谁用

需要将大模型高效部署到生产环境的 AI 工程师、推理优化研究者，以及使用 TensorRT-LLM / vLLM 的团队。

快速上手

pip install nvidia-modelopt

参考官方示例，几行代码即可对模型进行量化并导出至 TensorRT-LLM。