Bir Görsel Model Grafana Panelinizi Okuyabilir mi? DigitalOcean Inference Üzerinde 100 Panel Testi

Grafana, uyarı (alert) bildirimlerine ilgili panelin ekran görüntüsünü ekleyebilir. Bir bot bu görseli görsel bir modele (vision model) gönderip çağrı (page) mesajının yanına tek satırlık bir özet geçebilir. 15 Ekim 2026'da DigitalOcean Serverless Inference platformuna eklenen NVIDIA Nemotron 3.5 Super VL modelini tam olarak bu görevde test ettik.

Cevapları önceden bilinen 100 gösterge paneli çizdik ve her biri için dört soru sorduk: tepe değer (peak value), tepe değerin zamanı, verinin eşik değerini (threshold) aşıp aşmadığı ve hangi serinin en yüksek olduğu. Ölçüm öncesindeki iddiamız şuydu: Nemotron 3.5 Super VL, ekran görüntüsü başına 0,001 doların altında bir maliyetle 100 panelin en az 90'ında dört soruyu da doğru yanıtlar.

Ancak model, akıl yürütme (reasoning) kapalıyken 48 panelde, açıkken ise 54 panelde dördünü birden doğru bildi ve iddiamız başarısız oldu. Maliyet sınırı yalnızca akıl yürütme kapalıyken (görsel başına 0,00026 dolar; açıkken 0,0024 dolar) korundu. Test edilen dört modelin hiçbiri 90 sınırına yaklaşamadı; Qwen3.8-Max 65 ve Gemma 4 (1.000 görsel başına 0,11 dolar maliyetle) 64 doğru yaptı. Logaritmik ölçekli eksenler tüm modelleri yanılttı.

Yazılım geliştirme açısından en önemli çıkarım şudur: Bir uyarı mesajındaki kritik sayılar modelden değil, doğrudan uyarı verisinden (alert payload) gelmelidir. Daha faydalı olan mimari, modelin görseli betimlemesine izin veren ancak buna güvenilip güvenilmeyeceğine deterministik kuralların karar verdiği hibrit bir bot yapısıdır. Nitekim kurallar, Nemotron'un 300 okumasındaki hataların %63'ünü yakaladı ve hiçbir doğru okumayı engellemedi. Kasıtlı olarak yanlış ekran görüntüsü eklendiğinde ise bot 100 denemenin 99'unda bunu reddetti.

Özet (TL;DR)#

• Genel Başarı: 100 Grafana tarzı panelde dört bilginin tamamını doğru bilme sayısı: Qwen3.8-Max 65, Gemma 4 64, Nemotron 3.5 Super VL akıl yürütme ile 54 (akıl yürütmesiz 48), Llama 4 Maverick 21. Hedefimiz 90'dı.
• Zorluk Derecesi: Tepe zamanı ve eşik değeri bulmak kolaydı (her model için %86 ila %99 başarı). Tepe değeri ve en yüksek seriyi bulmak zordu. Logaritmik eksenlerde en iyi model bile 25 panelin sadece 8'inde tam isabet sağladı.
• Akıl Yürütme Maliyeti: Akıl yürütme modu Nemotron'u 13 kat yavaşlattı (medyan 19 saniye, en kötü 82 saniye) ve 9 kat daha pahalı hale getirdi. 48'den 54'e çıkan artış ise gürültü (hata payı) sınırları içindedir.
• Tutarlılık: temperature 0 ayarında Nemotron, 100 panelin sadece 13'ünde her üç çalıştırmada da aynı dört yanıtı verdi. Qwen3.8-Max ise bunu 76 panelde başardı.
• Çapraz Kontrol: Uyarı verisiyle yapılan çapraz kontrol, Nemotron'un hatalı okumalarının %63'ünü (%5 toleransla %81'ini) yakaladı. Ancak bu kontrol tepe zamanını, yığılmış (stacked) paneldeki seriyi veya özet metnindeki kelimeleri doğrulayamaz.

Ön Koşullar#

• Serverless Inference model erişim anahtarına sahip bir DigitalOcean hesabı
• Node.js 22 veya daha yeni bir sürüm
• Tüm modelleri yeniden çalıştırmak için yaklaşık 1 dolarlık çıkarım (inference) bütçesi (çoğu akıl yürütme moduna harcanır)
• GitHub üzerindeki The-DevOps-Daily/grafana-panel-vision deposu

Görev ve İddia#

Eklenen paneli okuyan bir bot, nöbetçi mühendisi bir tıklamadan kurtarabilir: "p99 saat 13:55 UTC'de 1,8 saniyeye çıktı ve 2,5 saniyelik eşiğin altında kaldı". Asıl soru, gece gelen bir çağrı sırasında bu cümleye güvenip güvenemeyeceğinizdir.

Her modele PNG formatındaki panelle birlikte aynı istem (prompt) verildi ve JSON formatında yanıt istendi. Üretim ortamında Structured Output ve JSON Modu kullanmak, bu tür bot entegrasyonlarında veri ayrıştırma güvenilirliği için temel bir pratiktir. Nemotron 3.5 Super VL'nin akıl yürütme kapalıyken verdiği gerçek yanıt:

{
  "peak": { "value": 1.8, "unit": "s" },
  "peakTime": "13:45",
  "thresholdCrossed": "no",
  "topSeries": "search",
  "summary": "Upstream response time stays under 1 second until midday, then spikes sharply to about 1.8 seconds in the early afternoon while remaining below the 2.5 s warning threshold."
}

Bu panel için gerçek değerler; saat 13:55 UTC'de 1,85 s, eşik aşılmadı ve search serisi şeklindedir. İlk çalıştırmadan önce belirlenen tolerans kurallarına (tepe değer için %5 yanılma payı) göre bu okuma başarılı sayılır.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.