FlashInfer 是面向 LLM 推理的高性能 GPU 内核库,为 Attention、GEMM、MoE 提供统一 API,自动适配从 Turing 到 Blackwell 的全系 GPU 架构。
核心优势如下:
顶尖性能:Prefill、Decode、混合批处理全场景优化内核。
多后端自动择优:FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM 按硬件和工作负载自动选择。
低精度计算:BF16、FP8、FP4(NVFP4 / MXFP4)量化覆盖 Attention、GEMM、MoE。
广架构支持:SM75(T4/RTX 20)→ SM90(H100/H200)→ SM100+(B200/RTX 50)全覆盖。
生产就绪:兼容 CUDAGraph 和 torch.compile,适合低延迟在线服务。
关键能力如下!:
Attention 内核:Paged/Ragged KV-Cache、Decode/Prefill/Append、MLA(DeepSeek)、Cascade 分层缓存、块稀疏、POD 融合预填充解码,
矩阵运算:BF16 / FP8 / FP4 GEMM、Grouped GEMM(LoRA / 多专家路由)。
MoE:融合内核,DeepSeek-V3 / Llama-4 / Top-K 路由,FP8 和 FP4 量化专家权重。
采样与解码:无排序 Top-K / Top-P / Min-P、投机解码。
通信:自定义 AllReduce、多节点 NVLink(MNNVL)、NVSHMEM 分布式。
其他算子:RoPE(含 LLaMA 3.1)、RMSNorm / LayerNorm、SiLU / GELU 融合门控。
被 SGLang、vLLM、TensorRT-LLM、TGI、MLC-LLM、LightLLM 等主流推理框架作为底层推理引擎采用。
flashinfer-ai/flashinfer
大模型 深度学习 算法 AI人工智能 人工智能发展 多模态人工智能 科研学习 智能体
