yifanzhang-pro/recurrent-looped-tranformer
Official Project Page for Recurrent Looped Transformer (RLT)
Star 增长趋势(本站收录历史)
yifanzhang-pro/recurrent-looped-tranformer
深度介绍
它是什么
Recurrent Looped Transformer(RLT)是论文的官方项目主页,用 HTML 实现,Apache-2.0 开源。它把 Transformer 的层级结构改成循环复用:同一组参数反复迭代,用更少的参数逼近更深的网络。
核心亮点
- 参数共享:单层参数循环调用,显存占用显著低于同深度标准 Transformer
- 深度可调:推理时增加循环次数即可提升性能,无需重新训练
- 官方实现:配套论文提供完整实验配置与可视化结果
为什么火
在模型规模与算力成本矛盾加剧的当下,RLT 提供了一条"以时间换空间"的路径——用循环迭代替代堆叠层数,对显存受限的研究者极具吸引力。
适合谁用
关注高效架构、模型压缩、推理优化的研究者和工程师;也适合想复现论文结论的学生。
快速上手
git clone https://github.com/yifanzhang-pro/recurrent-looped-tranformer
cd recurrent-looped-tranformer
# 打开 index.html 查看项目主页与论文链接
