Her Yapay Zeka Mühendisinin (Geliştiricinin) Yapay Zekanın Arkasındaki Veri Hakkında Bilmesi Gerekenler

İçindekiler (Bölüm 1 / 4)#

• Giriş
• Modül 1.1: Büyük Resim: Bir Model Gerçekte Ne Öğrenir?
  • 1.1.1 Her Şeyin Üzerine İnşa Edildiği Tek Cümle
  • 1.1.2 Üç Matematiksel İşlem Olarak Pipeline Döngüsü
  • 1.1.3 "Büyük" Ne Kadar Büyüktür?
  • 1.1.4 Miktar, Kalite ve Çeşitlilik Dengesinin Ölçümü
• Modül 1.2: Eğitim Hedefinin Matematiği
  • 1.2.1 Entropi, Çapraz Entropi (Cross-Entropy) ve KL Iraksaması
  • 1.2.2 Eğitim, Maksimum Olabilirliktir (Maximum Likelihood)
  • 1.2.3 İstenmeyen Verinin (Spam) Türetilmiş Maliyeti
  • 1.2.4 Kod ile Kanıt: Temiz ve Spam Karışmış Eğitim Karşılaştırması
  • 1.2.5 ln(V) Sağlamlık Kontrolü (Sanity Check)
• Modül 1.3: Model Gerçekte Neyi Optimize Eder?
  • 1.3.1 Token'lardan Kayba (Loss) ve Şaşkınlığa (Perplexity)
  • 1.3.2 Veri Modeli Nasıl İter: Gradyan
  • 1.3.3 Gerçek Rakamlarla Ölçeklendirme Yasaları (Scaling Laws)
  • 1.3.4 Hesaplama Açısından Optimal ve Aşırı Eğitilmiş (Over-Trained) Modeller
  • 1.3.5 Girişteki Rakamların Geri Döndüğü Yer
• Bölüm 1 Kopya Kağıdı (Cheat Sheet)
• Referanslar

(Not: Web verisini temizleme, filtrelere düşünmeyi öğretme ve token/batch aşamalarını ele alan 2, 3 ve 4. bölümler ayrı yazılar olarak yayımlanmaktadır.)

Giriş ve Büyük Laboratuvarların Gerçek Maliyeti#

Büyük teknoloji laboratuvarlarının harcadığı devasa bütçelerin çok küçük bir kısmına bile sahip olmayan geliştiriciler olarak, kendi değerlerimizi yansıtan yapay zeka sistemlerinin inşasına nasıl katkıda bulunabiliriz? Bu sorunun cevabını ararken karşımıza çıkan rakamlar, veri mühendisliğinin neden en kritik kaldıraç olduğunu açıkça gösteriyor.

Meta'nın yayımladığı Llama 3.1 model kartına göre, yalnızca 405 milyar parametreli versiyonun eğitimi, her biri 700 watt güç çeken H100 çiplerinde 30,84 milyon GPU saati sürdü:

• Enerji Tüketimi: Yaklaşık 21,6 milyon kilovatsaat elektrik harcandı; bu miktar ortalama 2.000 hanenin bir yıllık enerji ihtiyacına eşdeğerdir.
• Karbon Ayak İzi: Tek bir eğitim süreci 8.930 ton CO2 salınımına yol açtı (yaklaşık 1.900 aracın yıllık emisyonu).
• Süre ve Finansal Maliyet: 16.384 GPU'ya bölünen bu iş yükü kesintisiz 78 gün sürdü. Saatlik mütevazı bir 2 dolar bulut maliyetiyle bile, araştırmacı ve veri giderleri hariç sadece hesaplama faturası yaklaşık 62 milyon dolara ulaşmaktadır.

Veri Etiketlemenin İnsani Boyutu#

Hesaplama faturaları on milyonlarca dolara ulaşırken, madalyonun diğer yüzünde veriyi temizleyen insanların durumu yer alıyor:

• OpenAI ve Sama Vakası (2021): ChatGPT'nin zararlı içerikler üretmesini engellemek için Kenya'daki çalışanlara saatlik yaklaşık 1,50 ila 2 dolar ödenirken, kurum içi belgelere göre OpenAI aynı iş için saatlik 12,50 dolar faturalandırıldı.
• Scale AI ve Remotasks: 2025 yılında Meta'nın %49 hissesini 14,3 milyar dolara satın aldığı Scale AI, Remotasks platformunda çalışanlara görev başına sadece birkaç sent ödendiği yönündeki raporların ardından ABD'de bir dizi davayla karşı karşıya kaldı.

Bu iki ayrı skandalın altında aynı örüntü yatıyor: Teknolojinin psikolojik olarak en zorlu kısmını üstlenen insanlar en düşük ücreti alırken, temizledikleri verilerle eğitilen modellerin donanım faturası on milyonlarca doları buluyor.

Bu Rehber Kimler İçin ve Pratik Çıkarımlar#

Bu seri; sadece bir API çağırmayı değil, büyük dil modellerinin (LLM) gerçekte nasıl inşa edildiğini anlamak isteyen geliştiriciler, öğrenciler, kendi kendini yetiştiren mühendisler, araştırmacılar ve müfredat tasarımcıları için yazılmıştır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar:

• Bütçe Kısıtını Bilgiyle Aşmak: Sınırsız GPU kümelerine veya kurumsal fonlara sahip olmadığınızda, en büyük rekabet avantajınız veri kalitesi ve eğitim matematiğini (Cross-Entropy, Perplexity, Scaling Laws) derinlemesine anlamaktır.
• Spam ve Gürültü Maliyeti: Modül 1.2 ve 1.3'te vurgulandığı üzere, kirli veri (spam) gradyanları yanlış yönlendirerek sınırlı hesaplama bütçenizi boşa harcar. Küçük ama temiz ve çeşitliliği yüksek veri setleri hazırlamak, devasa donanım eksikliğini telafi etmenin en pratik mühendislik yoludur.

Orijinal makaleye buradan ulaşabilirsiniz.