mizorewww/laya-mlx
Native MLX runtime for Laya typed decision models — 7–14 ms short decisions on M3 Max. No text generation, PyTorch, or cloud API.
Star 增长趋势（本站收录历史）
mizorewww/laya-mlx
深度介绍
它是什么
laya-mlx 是 Laya 类型化决策模型的 MLX 原生运行时，专为 Apple Silicon 打造。它不做文本生成，不依赖 PyTorch，也不调用云端 API——只专注一件事：在本地快速完成结构化决策推理。
核心亮点
- 极致低延迟：在 M3 Max 上，短决策仅需 7–14 ms
- 纯本地运行：基于 Apple MLX 框架，零云依赖，数据不出设备
- 类型化决策：输出结构化结果，而非自由文本，适合系统级集成
- 轻量栈：无需 PyTorch，依赖极简
为什么火
本地 AI 推理正从“能跑”走向“够快、够稳”。laya-mlx 抓住了一个被忽视的切口：不是聊天，而是毫秒级决策。配合 Apple Silicon 的 MLX 生态，它让“系统一”式的直觉判断在端侧成为现实，自然吸引关注。
适合谁用
- 在 macOS 上构建低延迟 AI 功能的开发者
- 需要本地决策引擎、拒绝云 API 的隐私敏感场景
- 研究 Apple Silicon 推理性能的工程师
快速上手
pip install laya-mlx
加载 Laya 模型后调用决策接口即可，具体示例见仓库 README。