资源库
系统与效率 Papers
面向推理加速、注意力优化、量化与服务系统的研究论文。
BitNet b1.58: The Era of 1-bit LLMs
Shuming Ma, Hongyu Wang 等 · 2024
提出约 1.58-bit 的量化语言模型训练与推理方案。
DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving
Yinmin Zhong, Shengyu Liu 等 · 2024
将 prefill 与 decoding 解耦，优化大模型服务有效吞吐。
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
Yuhui Li, Fangyun Wei 等 · 2024
提出 EAGLE，从特征层面改进投机采样加速推理。
FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
Jay Shah, Ganesh Bikshandi 等 · 2024
利用异步与低精度进一步提升注意力计算速度与精度。
Lookahead Decoding for Lossless Speedup of Large Language Model Inference
Yichao Fu, Peter Bailis 等 · 2024
提出前瞻解码，在不改模型分布的前提下加速推理。
Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
Tianle Cai, Yuhong Li 等 · 2024
用多个解码头进行并行候选生成以加速推理。
Sarathi-Serve: Efficient LLM Inference with Chunked-Prefills and Stall-Free Scheduling
Amey Agrawal, Nitin Kedia 等 · 2024
用分块 prefill 与无停顿调度提升 LLM 推理服务效率。
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
Ji Lin, Jiaming Tang 等 · 2023
按激活重要性保护关键权重，实现高效 LLM 权重量化。
Efficient Memory Management for Large Language Model Serving with PagedAttention
Woosuk Kwon, Zhuohan Li 等 · 2023
提出 PagedAttention 与 vLLM，提升大模型服务吞吐与显存利用率。
Efficient Streaming Language Models with Attention Sinks
Guangxuan Xiao, Yuandong Tian 等 · 2023
提出 Attention Sink，支持窗口注意力下的流式长对话。
Ring Attention with Blockwise Transformers for Near-Infinite Context
Hao Liu, Matei Zaharia, Pieter Abbeel · 2023
提出环形注意力，使超长上下文训练在设备间可扩展。
SGLang: Efficient Execution of Structured Language Model Programs
Lianmin Zheng, Liangsheng Yin 等 · 2023
提出高效执行结构化语言模型程序的运行时 SGLang。
YaRN: Efficient Context Window Extension of Large Language Models
Bowen Peng, Jeffrey Quesnelle 等 · 2023
提出高效扩展大模型上下文窗口的 YaRN 方法。
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Tri Dao, Daniel Y. Fu 等 · 2022 · NeurIPS 2022
提出 IO 感知的精确注意力实现，显著降低显存并加速训练推理。
SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
Guangxuan Xiao, Ji Lin 等 · 2022
通过迁移激活异常值实现准确高效的 LLM 训练后量化。
Fast Transformer Decoding: One Write-Head is All You Need
Noam Shazeer · 2019
提出多查询注意力，减少解码时的 KV 缓存开销。
Sparse Transformer
Rewon Child, Scott Gray 等 · 2019
提出稀疏注意力模式，降低长序列 Transformer 计算复杂度。
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
Samyam Rajbhandari, Jeff Rasley 等 · 2019
提出 ZeRO，通过切分优化器状态等显著降低训练显存。
Layer Normalization
Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton · 2016
提出层归一化，稳定循环与 Transformer 等模型的训练。
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Sergey Ioffe, Christian Szegedy · 2015 · ICML 2015
提出批归一化，加速并稳定深度网络训练。