Subtotal ₺0,00
NVIDIA AI, UltraLong-8B olarak adlandırılan yeni dil modelleri serisini tanıtarak, 1M, 2M ve 4M tokene kadar işleme kapasitesine sahip modeller geliştirdi.
Bu modellerin amacı, özellikle belgeler ve videolar gibi uzun içerikleri işleyebilme kabiliyetini artırmak ve bağlama duyarlı bilgi kayıplarını en aza indirmektir.
UIUC ve NVIDIA araştırmacıları, daha uzun içerik pencerelerini verimli bir şekilde genişleten ve komut takibine odaklanan eğitim stratejileri geliştirdi. UltraLong-8B modelleri, çok çeşitli uzun içerik ölçütlerinde mükemmel performans sergiledi ve bu sayede farklı görev türlerinde rekabetçi bir avantaj elde etti.
Çalışmada, eğitimin iki aşaması olan devam ettirilmiş ön eğitim ve komut ayarlama ile ultra uzun içerik girdileri işleme ve güçlü performans sağlama yeteneğine vurgu yapıldı.
Çalışma, güvenlik ayarlama mekanizmalarının entegrasyonu ve daha gelişmiş ayarlama stratejilerinin keşfi gibi konulara da ileride odaklanılması gerektiği belirtiliyor.
Comments are closed