訓練生成式AI必備的大型語言模型,其又必備的高品質GPU,讓Nvidia不但股價大漲,產品也供不應求。為幫助解決該問題,AWS於週三(11/1)為機器學習推出了Amazon Elastic Compute Cloud(EC2)Capacity Blocks,讓客戶能夠在一個限定的時間長度內購買這些GPU的訪問權限。

通常需要接觸這類GPU的客戶,都是在從事某些AI相關的工作,例如訓練一個機器學習模型,或者使用一個現存模型來進行實驗。項目負責人Channy Yun在一篇博文中宣布這項新服務:「這是安排GPU實例的一種創意新方法,您可以為未來的某個時間點,為您所需要的時間長度,保留所需的實例數即可。」

提供客戶訪問的產品為Nvidia H100 Tensor Core GPU實例,一個叢集的大小可達64個實例,每個實例有8GPU。客戶可保留的時間為一個單日增量,最長可14天,然後要於八週前預約。當該時間範圍結束後,實例就會自動關閉。

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.