京東云推出 vGPU 池化方案，可令“大模型推理大幅降本”

【資料圖】

IT之家 8 月 15 日消息，京東云已推出 vGPU 池化方案，“該方案可提供一站式 GPU 算力池化能力，令 GPU 利用率最高提升 70%，大幅降低大模型推理成本”。

京東云表示，憑借其“自主研發的混合多云操作系統云艦”，京東云在原有支持混合多云 CPU 算力池化能力基礎上，針對大模型訓練所需的泛算力池化能力，進一步增加了針對 AI 應用所需的調度管理能力，包括卡管理、節點管理、異構資源調度管理等，為包括大模型訓練在內的多種 AI 應用，提供一站式算力池化解決方案，從而全面提升資源利用率。

京東云同時稱，自家池化方案具有四大優勢，IT之家轉錄相關內容如下：

算力切分靈活：支持任意比例切分和動態調整機制，可實現按顯卡算力、顯存做細粒度切分，一張物理卡可供多個容器使用，與整卡算力相比，性能衰減在 2% 以內。

精細化配額管理：支持靈活的配額管理，按顯卡型號 / label 配額，有效保障資源按需分配，提升推理穩定性和訓練性能。

多場景適配：適配主流 CUDA 版本和不同 GPU 芯片適配，支持 TensorFlows、Pytorch 等行業主流的 AI 訓練框架。

多節點管理：支持節點虛擬分組和節點組指定應用使用，全面提升大模型訓練效率。

京東云表示，在使用場景中，開發者可以根據卡型號申請資源，按算力和顯存切分，統一由控制器根據用戶指定的調度策略調整。僅在訓練、微調和推理任務啟動時進行動態分配，在任務結束即可以釋放，支持多任務算力隔離和任務冷啟動。

從實踐效果看，通過 GPU 異構資源池化，AI 運行效率顯著提高，整體 GPU 利用率提升 70%。結合任意切分和按需分配，在同等 GPU 數量的前提下，實現了數倍業務量擴展和資源共享，降低了硬件采購成本，使用更少的 AI 芯片支撐了更多的訓練和推理任務。

關鍵詞：