Alibaba Cloud, LLM çıkarımı için GPU kullanımını optimize ediyor, ihtiyacı %82 azaltıyor

Investing.com — Alibaba Cloud, büyük dil modeli (LLM) eşzamanlı çıkarımı için Aegaeon GPU kaynak optimizasyon çözümünü detaylandıran bir makale yayınladığını Pazartesi günü duyurdu.

Bununla birlikte, Alibaba Grubu’nun bulut bilişim kolu, bu yeni yaklaşım sayesinde gerekli GPU sayısını uygulamada %82 oranında azalttığını açıkladı.

Bu arada, LLM çıkarımı genellikle çok sayıda ani istek içerir. Bu durum, verimli GPU kullanımı için zorluklar yaratır. Alibaba Cloud, istekler yerine token’lara dayalı işlem yapan bir model uygulayarak verimliliği artırdı.

Sonuç olarak, bu çözüm çıkarım işlemini iki aşamaya ayırarak hızlandırıyor. Ön doldurma ve kod çözme olarak ayrılan bu aşamalar, ayrı GPU havuzlarında işleniyor.

Buna rağmen, bu optimizasyon ticarileştirilirse, yapay zeka çıkarım sunucu maliyetlerini düşürmesi muhtemel. Ayrıca GPGPU olmayan sunucu yarı iletkenleri ve özel işlem elemanlarına (SPE) olan talebi artırma potansiyeline sahip.

Bu makale yapay zekanın desteğiyle oluşturulmuş, çevrilmiş ve bir editör tarafından incelenmiştir. Daha fazla bilgi için Şart ve Koşullar bölümümüze bakın.