LMSYS Blog
LMSYS and Chatbot Arena research updates.
读取它的 RSS所属板块:AI
LMSYS Blog 最新
- SGLang 安全更新：提升请求隔离12 天前
- 超越 DeepInfer：SGLang 提供了什么15 天前
- SGLang低延迟模式：内核与运行时21 天前
- SGLang 和 Miles 在 NVIDIA Vera Rubin 上29 天前
- 博客2026-09-24
- MiniMax-H3 在 8×H200 上：无损加速 1.95×，在 SSIM 0.76–0.91 范围内最高达 6.24×2026-08-27
- Qwen3.8-Flash-Next：在 SGLang 中提供 Day-0 支持2026-08-26
- 追逐首批底限：在Blackwell上对Ling-3.0-flash进行推测解码2026-08-21
- 快速引擎恢复：通过权重缓存守护进程实现 SGLang 的亚秒级引擎重启2026-08-21
- Mooncake for Miles：从零散发布数据到高效批量I/O2026-08-20
- 突破DeepSeek-V4-Pro服务的极限2026-08-19
- Miles v0.1：适用于生产环境的后训练模型2026-08-18
- SGLang 中的高级 CUDA 图技术2026-08-17
- 统一基数缓存：用于混合模型前缀缓存的一棵树2026-08-11
- HPC-Ops × SGLang：来自腾讯混元的高性能注意力、路由 GEMM 和 MoE 内核2026-08-07
- 迈向 Blackwell 原生 8 位和 4 位强化学习：Miles 中的端到端 MXFP8 和 NVFP4 强化学习2026-07-29
- SGLang 和 Miles 为 Kimi K3 提供开箱即用支持2026-07-27
- 使用 SGLang 提供 GLM5.2 NVFP4 代理工作负载：两周内达到 500 TPS2026-07-14
- SGLang 中的 DSpark：基于置信度驱动的可变长度验证的推测解码2026-07-06
- 代理辅助的 SGLang 开发：初步探索2026-07-02
- 下一代推测解码：DFlash 与 Spec V22026-06-15
- 不遗漏任何令牌：揭开Miles中令牌入令牌出的谜团2026-06-05
- Higgs Audio v3 TTS on SGLang-Omni：面向语音代理的真实、可控制语音生成2026-06-04
- DeepSeek-V4 Day 0 上线：从快速推理到通过 SGLang 和 Miles 验证的强化学习2026-04-25
- HiSparse：通过分层内存加速稀疏注意力2026-04-10
- 通过SGLang在NVIDIA GB300 NVL72上实现25倍推理性能提升2026-02-20
- 在GB300 NVL72上部署DeepSeek：长上下文推理中的重大突破2026-02-19
- SGLang 中的流水线并行：扩展至百万标记上下文及更远2026-01-15
- EPD解耦：SGLang中视觉语言模型的弹性编码器扩展2026-01-12
- 统一FP8：超越混合精度以实现稳定且加速的MoE强化学习2025-11-25