Tek Kelime, İki GPU: Gemma 4 Aynı Soruya Bir Dizüstü Bilgisayarda ve Tesla T4'te Neden Farklı Yanıt Veriyor?

Donanım farklılıkları, kıyaslama (benchmark) notlarını ince bir şekilde değiştirir. Bu makale, aynı GGUF dosyasından, aynı llama.cpp derlemesi ve açgözlü (greedy) çözümleme ile çalıştırılan Gemma 4 E2B modelinin, bir GTX 1650 Ti dizüstü GPU'su ile bir Tesla T4 üzerinde neden farklı yanıtlar verdiğini adım adım inceliyor. Süreç, bir GSM8K sorusu üzerinden ilk farklılaşan kelimeden başlayarak her kartın sayıları toplama sırasına kadar takip ediliyor. Yazılım geliştiriciler için bu durum, deterministik görünen yapay zeka sistemlerinde donanım mimarisinin sonuçları nasıl değiştirebileceğini anlamak açısından kritik bir derstir.

Aynı Dosya, Aynı Derleme, İki Farklı Yanıt#

Bir dizüstü GPU'suna ve bir bulut GPU'suna aynı Gemma 4 dosyasını, aynı llama.cpp derlemesini ve sıfır sıcaklık (temperature zero) ayarını verin ve onlara aynı ilkokul matematik sorusunu sorun. Dizüstü bilgisayar $20, Tesla T4 ise 2000 yanıtını verir. Her iki kart da kendi içinde tamamen tutarlıdır: her çalıştırıldığında kelimesi kelimesine aynı yanıtı üretir.

Farkı yaratan şey, her yongadaki işlemci sayısıdır. llama.cpp, her büyük matris çarpımını işlemci başına bir pay düşecek şekilde böler (dizüstü bilgisayarda 16 pay, T4'te 40 pay). float32 toplama işlemi, aynı sayılar farklı şekillerde gruplandığında son basamakları farklı yuvarlar. Bu son basamak farklılıkları modelin katmanları boyunca birikir. 124 özdeş token'dan sonra model, " spent" ve " saved" kelimeleri arasında başa baş bir noktaya ulaşır; iki kart bu eşikte zıt taraflara düşer ve sonrasındaki her kelime seçilen bu ilk kelimeden türetilir. Standart bir llama.cpp ayarı olan -ub 1, iki kartın her token üzerinde uzlaşmasını sağlar.

Bir Yorumun Ardından Geçen Bir Hafta#

29 Ekim 2026'da bu serideki L4 makalesine bir okuyucudan şu yorum geldi: "Aynı dosyalar, aynı derleme ve yine de iki kart arasında farklı puanlanan 2 adet BF16 sorusu, sürekli aklıma takılan kısım."

Aynı soru burada da zihinleri kurcalıyordu. Bayt düzeyinde birebir aynı model dosyaları, tek bir llama.cpp sürümü ve sıfır sıcaklık ayarı ile iki kartın aynı kelimeleri yazdırması gerekirdi. Ancak BF16 düzeyinde 2 sorunun puanlamasında, Q8_0 düzeyinde ise çoğu yanıtın ifadelerinde ayrıştılar. Üç NVIDIA kartında süren bir haftalık testlerin ardından bu farkların tamamı açıklandı. Bu inceleme, test-358 sorusunu yanıttan aritmetik işlemlere kadar takip etmektedir. Mühendislik perspektifinden bu bulgu, yerel ortamda (örneğin bir dizüstü bilgisayarda) yapılan testlerin bulut ortamındaki üretim (production) sonuçlarıyla birebir örtüşmeyebileceğini kanıtlar.

Özetle Sonuçlar#

• GTX 1650 Ti, test-358 sorusuna doğru olan $20 yanıtını verirken; Tesla T4, yanlış olarak puanlanan 2000 yanıtını verir. İki kart aynı 124 token'ı yazdırır ve tek bir kelimede ayrılır: 1650, %47,8 " saved" olasılığına karşı %51,4 ile " spent" kelimesini seçer; T4 ise %40,4 " spent" olasılığına karşı %59,1 ile " saved" kelimesini seçer.
• Her kart kendi içinde kusursuzca tekrar eder. Farklı günlerde iki kez çalıştırılan 1650, karşılaştırılan 97.116 token'ın tamamında aynı skoru verir.
• Kartların farklılaşmasına iki unsur yol açar: llama.cpp her büyük matris çarpımını akış çoklu işlemcisi (SM) başına bir paya böler (1650'de 16, T4'te 40 SM vardır) ve BF16 olarak saklanan bir matris, yöntemini karta göre seçen NVIDIA'nın cuBLAS kütüphanesine gider. Aynı 8.960 adet float32 sayısını 16 payda toplamak 47.0389595, 40 payda toplamak ise 47.0389099 sonucunu verir.
• Tek bir standart ayar olan -ub 1 ile iki kart, Q8_0'da 250 yanıtın ve 97.450 token skorunun tamamında; Q4_0'da ise 107.195 skorun tamamında eşleşir. Bu ayar, toplam çalışma süresine %14 ila %15 oranında ek maliyet getirir.
• Modelin kendi skorları hangi yanıtların notunun değişeceğini söyleyemez. Yedi kurulum genelinde değişen 18 yanıtın tamamını yakalamak, 250 sorunun 164'ünü işaretlemek anlamına gelir.

Bu Noktada Sahip Olmanız Gerekenler…#

Deneyleri tekrarlamak ve regresyon testlerinde donanım tutarlılığını doğrulamak için şu bileşenler kullanılır:

• data/heldout.jsonl içinde 250 adet ayrılmış GSM8K sorusu barındıran xbill9/gemma-graveyard deposu.
• İlgili hesaplama kapasitesi (compute capability) için CUDA ile derlenmiş llama.cpp b11699 (7182ef71e) sürümü.