Microsoft e събрала десетки хиляди чипове в скъп суперкомпютър за OpenAI

Обучението на голям модел за изкуствен интелект изисква голям набор от свързани графични процесори, събрани на едно място, като суперкомпютъра, създаден от Microsoft. След като моделът започне да се ползва, отговарянето на всички потребителски заявки, наречено заключения, изисква малко по-различни настройки. Microsoft добавя графични чипове за тези изводи, но въпросните процесори – стотици хиляди такива – са географски разпръснати в повече от 60 региона, където се намират центровете за данни на компанията. Сега гигантът добавя най-новите графични чипове на Nvidia за работните натоварвания на изкуствения интелект – H100, както и най-новата версия на мрежовата технология Infiniband На Nvidia, за да споделя данни още по-бързо, обяви Microsoft в публикация в блога си.

Новият Bing все още е в предварителна версия, а Microsoft постепенно добавя повече потребители в списъка с чакащи. Екипът на Гътри провежда ежедневни срещи с около две дузини служители, наречени „екип от бокса“ – на името на групата от механици, които се грижат за състезателните автомобили по време на надпревари. Задачата на групата е да разбере как бързо да осигури по-големи количества изчислителен капацитет онлайн, както и да коригира възникващите проблеми.

Една облачна услуга зависи от хиляди различни части и елементи – отделните парчета от сървъри, тръби, бетон за сградите, различни метали и минерали – и забавянето или недостигът на който и да е компонент, независимо колко малък е, може да провали всичко. Наскоро „екипът от бокса“ е трябвало да се справи с недостига на кабелни скари, които държат кабелите, излизащи от машините. Така проектират нова кабелна скара, която Microsoft може да произведе сама или да намери откъде да купи. Освен това са работили по начините да поберат възможно най-много сървъри в наличните центрове за данни по целия свят, така че да не се налага да чакат нови сгради, споделя Гътри.

Когато OpenAI или Microsoft обучават голям модел с изкуствен интелект, работата обичайно се извършва наведнъж. Тя е разделена между всички графични чипове и в определени точки тези единици трябва да говорят помежду си, за да споделят работата, която са извършили. За суперкомпютъра с изкуствен интелект Microsoft е трябвало да се увери, че мрежовото оборудване, което управлява комуникацията между всички чипове, може да се справи с това натоварване. Освен това е трябвало да разработи софтуер, който да използва най-добре графичните процесори и мрежовото оборудване. Сега компанията излезе със софтуер, който ѝ позволява да обучава модели с десетки трилиони параметри.

Тъй като всички машини заработват едновременно, Microsoft е трябвало да помисли къде са поставени те и къде са разположени захранващите устройства. В противен случай в центъра за данни може да се случи това, което се случва при включване на микровълнова печка, тостер и прахосмукачка едновременно в кухнята, споделя Гътри.

Освен това компанията трябва да се увери, че може да охлади всички тези машини и чипове и използва изпарения, вкарване на външен въздух при по-хладен климат и високотехнологични охладители на горещите места, твърди Алистър Спиърс, директор глобална инфраструктура в Azure.

Microsoft ще продължи да работи върху персонализирани дизайни на сървъри и чипове, както и върху начини за оптимизиране на веригата си за доставки, за да извлече всякаква полза от скоростта, ефективността и икономиите на разходи, казва Гътри.

„Моделът, който впечатлява света в момента, е изграден върху суперкомпютъра, който започнахме да създаваме преди няколко години. Новите модели ще бъдат изградени на новия суперкомпютър, който обучаваме в момента, който е много по-голям и ще позволи още по-голямо усъвършенстване“, допълва той.