Sekiz Nvidia V100 Ekran Kartlı Yapay Zeka Sunucusu NVFP4 Hassasiyetine Yükseltildi
Sekiz adet Nvidia V100 grafik işlemcisiyle kurulan yerel yapay zeka sunucusu, 1 TB RAM ve NVFP4 optimizasyonuyla güncellenerek DeepSeek modelinde daha yüksek doğruluk oranına ulaştı.

İçindekiler
Eski nesil sekiz adet Nvidia V100 grafik işlemcisiyle kendi yerel yapay zeka sunucusunu kuran bir avukat, sistemini 1 TB RAM ve RTX 3090 takviyesiyle güncelledi. Yapılan donanım ve yazılım geliştirmeleri sayesinde sunucudaki DeepSeek V4.1 Flash modelinin çalışma hassasiyeti 2-bit seviyesinden NVFP4 düzeyine taşındı. Bu yükseltme çıktı hızında küçük bir düşüşe yol açsa da modelin yanıt tutarlılığını ve doğruluğunu belirgin şekilde artırdı.
Sistemde Hangi Değişiklikler Yapıldı?
Güney Karolina'da dava avukatlığı yapan ve PLI Labs kurucusu olan Nick Mermiges, ofisindeki verilerin dışarı çıkmaması amacıyla kurduğu sunucuyu önemli ölçüde geliştirdi. Volta Max uPLIft adı verilen yeni yapılandırmada şu donanım ve mimari değişiklikleri öne çıkıyor:
- Bellek Kapasitesi: Sistem belleği daha önce yaşanan ECC hataları nedeniyle kısıtlı kalan 256 GB seviyesinden, sekiz adet 128 GB modül ile 1 TB RAM kapasitesine çıkarıldı.
- Ekran Kartı Takviyesi: Sekiz adet 32 GB Tesla V100 kartın yanına bir adet Nvidia RTX 3090 eklendi.
- Güç Kaynağı Değişimi: Daha önce PCIe arayüzünden kaynaklandığı sanılan kilitlenme sorunlarının arızalı bir güç kaynağından kaynaklandığı anlaşılarak güç ünitesi yenilendi.
- Yazılım Çekirdekleri: Özel Volta çekirdekleri ve kuantizasyon optimizasyonları Claude Code desteğiyle geliştirildi.
Performans ve Doğruluk Oranları Nasıl Etkilendi?
DeepSeek V4.1 Flash modelinde yer alan 15 bin 360 uzman katmanının tamamı V100 kartlarının toplam 256 GB belleğine 4-bit formatında sığmadığı için karma bir yöntem uygulandı. Tüm uzmanlar öncelikle 2-bit olarak kartlarda tutulurken, en sık başvurulan 5 bin 949 uzman NVFP4 hassasiyetine yükseltildi. Testlerde tekil istekler sırasında yapılan yönlendirmelerin yüzde 80 ila 86'sının bu yüksek hassasiyetli uzmanlara ulaştığı belirlendi.
Modelin referans Nvidia sürümüyle aynı sonraki belirteci seçme oranı yüzde 92,2'den yüzde 95,1'e yükselirken, 513 soruluk standart bilgi testindeki farklı yanıt sayısı 79'dan 8'e geriledi. Ancak artan bu model sadakati çalışma hızına olumsuz yansıdı. Kod üretimi saniyede 160 ila 215 belirteçten 150 ila 180 belirteç bandına inerken, hukuki metin üretiminde de yüzde 9 ila 23 oranında yavaşlama kaydedildi.
Gelecek Planları ve Ölçeklendirme
Sistemin aynı anda iki isteği işleyebilir hale gelmesiyle birlikte toplam çıktı verimliliği tekil isteğe kıyasla artış gösterdi. Mermiges, DeepSeek modelinin küçük taslak modelini RTX 3090 üzerine taşımayı ve sekiz adet V100 ile 512 GB RAM içeren ikinci bir sunucu kurarak paralel görevleri genişletmeyi planlıyor.
Kaynak: Tom's Hardware
İlk yorumu siz yazın.