微軟推ZeRO++新系統：減少大模型訓練時間和成本_當前熱訊

(資料圖片)

微軟研究人員推出了名為ZeRO的新系統，用于優化訓練大型AI模型，以應對高數據傳輸開銷和有限帶寬的難題。ZeRO建立在現有的ZeRO優化的基礎上，并提供增強的通信策略，以提高訓練效率，減少訓練時間和成本。研究人員和實踐者可以利用ZeRO更有效地訓練像ChatGPT這樣的模型，并在AI領域探索新的可能性。(站長之家)

關鍵詞：