--- title: "Tek Kelime, İki GPU: Gemma 4 Aynı Soruya Bir Dizüstü Bilgisayarda ve Tesla T4'te Neden Farklı Yanıt Veriyor?" url: https://blog.edumints.com/tek-kelime-iki-gpu-gemma-4-ayni-soruya-bir-dizustu-bilgisayarda-ve category: "Yapay Zeka" date: 2026-11-12T08:08:49.884Z publisher: Edumints Blog lang: tr-TR source_name: "dev.to" source_url: https://dev.to/gde/one-word-two-gpus-why-gemma-4-answers-the-same-question-differently-on-a-laptop-and-a-tesla-t4-1dj2 --- # Tek Kelime, İki GPU: Gemma 4 Aynı Soruya Bir Dizüstü Bilgisayarda ve Tesla T4'te Neden Farklı Yanıt Veriyor? Donanım farklılıkları, kıyaslama (benchmark) notlarını ince bir şekilde değiştirir. Bu makale, aynı GGUF dosyasından, aynı `llama.cpp` derlemesi ve açgözlü (greedy) çözümleme ile çalıştırılan **Gemma 4 E2B** modelinin, bir GTX 1650 Ti dizüstü GPU'su ile bir Tesla T4 üzerinde neden farklı yanıtlar verdiğini adım adım inceliyor. Süreç, bir GSM8K sorusu üzerinden ilk farklılaşan kelimeden başlayarak her kartın sayıları toplama sırasına kadar takip ediliyor. Yazılım geliştiriciler için bu durum, deterministik görünen yapay zeka sistemlerinde donanım mimarisinin sonuçları nasıl değiştirebileceğini anlamak açısından kritik bir derstir. ## Aynı Dosya, Aynı Derleme, İki Farklı Yanıt Bir dizüstü GPU'suna ve bir bulut GPU'suna aynı Gemma 4 dosyasını, aynı `llama.cpp` derlemesini ve sıfır sıcaklık (**temperature zero**) ayarını verin ve onlara aynı ilkokul matematik sorusunu sorun. Dizüstü bilgisayar **$20**, Tesla T4 ise **2000** yanıtını verir. Her iki kart da kendi içinde tamamen tutarlıdır: her çalıştırıldığında kelimesi kelimesine aynı yanıtı üretir. Farkı yaratan şey, her yongadaki işlemci sayısıdır. `llama.cpp`, her büyük matris çarpımını işlemci başına bir pay düşecek şekilde böler (dizüstü bilgisayarda 16 pay, T4'te 40 pay). `float32` toplama işlemi, aynı sayılar farklı şekillerde gruplandığında son basamakları farklı yuvarlar. Bu son basamak farklılıkları modelin katmanları boyunca birikir. 124 özdeş token'dan sonra model, `" spent"` ve `" saved"` kelimeleri arasında başa baş bir noktaya ulaşır; iki kart bu eşikte zıt taraflara düşer ve sonrasındaki her kelime seçilen bu ilk kelimeden türetilir. Standart bir `llama.cpp` ayarı olan `-ub 1`, iki kartın her token üzerinde uzlaşmasını sağlar. ## Bir Yorumun Ardından Geçen Bir Hafta 29 Ekim 2026'da bu serideki L4 makalesine bir okuyucudan şu yorum geldi: *"Aynı dosyalar, aynı derleme ve yine de iki kart arasında farklı puanlanan 2 adet BF16 sorusu, sürekli aklıma takılan kısım."* Aynı soru burada da zihinleri kurcalıyordu. Bayt düzeyinde birebir aynı model dosyaları, tek bir `llama.cpp` sürümü ve sıfır sıcaklık ayarı ile iki kartın aynı kelimeleri yazdırması gerekirdi. Ancak **BF16** düzeyinde 2 sorunun puanlamasında, **Q8_0** düzeyinde ise çoğu yanıtın ifadelerinde ayrıştılar. Üç NVIDIA kartında süren bir haftalık testlerin ardından bu farkların tamamı açıklandı. Bu inceleme, `test-358` sorusunu yanıttan aritmetik işlemlere kadar takip etmektedir. Mühendislik perspektifinden bu bulgu, yerel ortamda (örneğin bir dizüstü bilgisayarda) yapılan testlerin bulut ortamındaki üretim (production) sonuçlarıyla birebir örtüşmeyebileceğini kanıtlar. ## Özetle Sonuçlar - **GTX 1650 Ti**, `test-358` sorusuna doğru olan **$20** yanıtını verirken; **Tesla T4**, yanlış olarak puanlanan **2000** yanıtını verir. İki kart aynı 124 token'ı yazdırır ve tek bir kelimede ayrılır: 1650, %47,8 `" saved"` olasılığına karşı %51,4 ile `" spent"` kelimesini seçer; T4 ise %40,4 `" spent"` olasılığına karşı %59,1 ile `" saved"` kelimesini seçer. - Her kart kendi içinde kusursuzca tekrar eder. Farklı günlerde iki kez çalıştırılan 1650, karşılaştırılan **97.116** token'ın tamamında aynı skoru verir. - Kartların farklılaşmasına iki unsur yol açar: `llama.cpp` her büyük matris çarpımını akış çoklu işlemcisi (SM) başına bir paya böler (1650'de 16, T4'te 40 SM vardır) ve BF16 olarak saklanan bir matris, yöntemini karta göre seçen NVIDIA'nın **cuBLAS** kütüphanesine gider. Aynı 8.960 adet `float32` sayısını 16 payda toplamak `47.0389595`, 40 payda toplamak ise `47.0389099` sonucunu verir. - Tek bir standart ayar olan `-ub 1` ile iki kart, Q8_0'da 250 yanıtın ve **97.450** token skorunun tamamında; Q4_0'da ise **107.195** skorun tamamında eşleşir. Bu ayar, toplam çalışma süresine %14 ila %15 oranında ek maliyet getirir. - Modelin kendi skorları hangi yanıtların notunun değişeceğini söyleyemez. Yedi kurulum genelinde değişen 18 yanıtın tamamını yakalamak, 250 sorunun 164'ünü işaretlemek anlamına gelir. ## Bu Noktada Sahip Olmanız Gerekenler… Deneyleri tekrarlamak ve regresyon testlerinde donanım tutarlılığını doğrulamak için şu bileşenler kullanılır: - `data/heldout.jsonl` içinde 250 adet ayrılmış GSM8K sorusu barındıran `xbill9/gemma-graveyard` deposu. - İlgili hesaplama kapasitesi (compute capability) için CUDA ile derlenmiş `llama.cpp` **b11699** (`7182ef71e`) sürümü. --- **Kaynak:** dev.to (https://dev.to/gde/one-word-two-gpus-why-gemma-4-answers-the-same-question-differently-on-a-laptop-and-a-tesla-t4-1dj2) **Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/tek-kelime-iki-gpu-gemma-4-ayni-soruya-bir-dizustu-bilgisayarda-ve