题库 人工智能大模型 题目列表 大模型推理加速工具 vLLM 之所以能够极大地提升大型语...
单选题
大模型推理加速工具 vLLM 之所以能够极大地提升大型语言模型的高吞吐量服务性能, 其最核心的架构创新在于什么?
A.
采用更快的 GPU 计算库(如 FlashAttention)来优化注意力计算。
B.
引入了名为 PagedAttention 的内存管理机制,有效解决了 KV Cache 的内存碎片化问题。
C.
使用模型量化技术,降低模型权重占用的显存空间。
D.
实现了更高效的调度算法,总是优先处理序列长度最短的请求。
题目信息
成人组 样题/模拟题 2025年 选择题
100%
正确率
0
评论
324
点击