30papers.com – Ilya’nın 30 Temel Yapay Öğrenme Makalesi, Yeni Başlayanlar İçin Türkçe Rehber

OpenAI kurucu ortağı Ilya Sutskever’in John Carmack’a önerdiği ve "Bunları gerçekten anlarsan bugünün yapay zekasının %90'ını bilirsin" dediği ünlü okuma listesi, 30papers.com üzerinde sadeleştirilmiş bir formata kavuştu. Bir yazılım geliştirici olarak bu kaynaklardan çıkarabileceğimiz pratik derslerle birlikte 27 temel kaynağı derledik:

Temel Yapay Sinir Ağları ve Görüntü İşleme

CS231n: Görsel tanıma için CNN temellerini kavramak ve ağları sıfırdan inşa etmek için mükemmeldir.
RNN'lerin Etkisizliği (Karpathy): Karakter düzeyinde metin üretimiyle dizisel verilerin gücünü anlamanızı sağlar.
LSTM Ağlarını Anlamak: LSTM kapılarının uzun dizilerde bilgiyi nasıl taşıdığını görselleştirerek öğretir.
AlexNet: Modern derin öğrenme çağını başlatan bu çalışma, CNN'lerin gücünü kanıtlar.
ResNet: Katman sayısını artırarak derin ağlardaki gradyan kaybolması sorununu çözer.
Genişletilmiş Konvolüsyonlar (Dilated Convolutions): Çözünürlüğü kaybetmeden alıcı alanı genişletmenin pratik yolunu gösterir.
ResNet Kimlik Eşlemeleri: Özdeşlik kısayollarının neden çalıştığını ve pre-activation yapısını açıklar.
RNN Düzenlileştirme (Regularization): LSTM'lerde dropout'u doğru uygulayarak aşırı öğrenmeyi (overfitting) engeller.
Deep Speech 2: Farklı dillerde uçtan uca konuşma tanıma mimarisini anlamaya yardımcı olur.

Sıralama ve Dikkat Mekanizmaları

Order Matters: Giriş-çıkış sırasının dizisel modellerdeki etkisini ve küme verilerini ele alır.
Bahdanau Dikkat Mekanizması: Çeviri modellerinin sabit özetler yerine kaynak kelimelere odaklanmasını sağlar.
Pointer Networks: Çıktıların girdideki konumlara işaret ettiği özel dizi problemlerini çözer.
Attention Is All You Need: Modern LLM'lerin temeli olan ve tekrarı kaldıran Transformer mimarisidir.
The Annotated Transformer: Transformer makalesini çalışan koda dökerek kodlama becerinizi geliştirir.
Neural Turing Machines: Yapay sinir ağlarını harici bellekle birleştirerek algoritma öğrenimini kolaylaştırır.
İlişkisel Muhakeme (Relational Reasoning): Nesne çiftleri arasındaki ilişkileri analiz eden küçük modülleri tanıtır.
İlişkisel RNN'ler: Bellekler arası etkileşimi artırarak zamana bağlı ilişkisel muhakemeyi geliştirir.
Kuantum Kimyası için Mesaj İletimi: Grafik sinir ağlarını mesaj iletim çerçevesinde birleştirir.

Ölçekleme, Bilgi Teorisi ve Sıkıştırma

Scaling Laws: Model boyutu, veri ve hesaplama gücü arttıkça kaybın nasıl azaldığını ölçer.
GPipe: Dev modelleri cihazlar arasında bölerek paralel eğitimi pratikleştirir.
Ağı Basit Tutmak (Hinton): Ağırlık açıklama uzunluğunu azaltarak genelleştirmeyi ve sıkıştırmayı bağdaştırır.
MDL Prensibi Rehberi: Veriyi en iyi sıkıştıran modeli seçerek öğrenmeyi en kısa açıklama olarak görür.
Kompleksodinamiğin İlk Yasası: Kapalı sistemlerin karmaşıklığının neden dalgalandığını sorgulayan teorik bir makaledir.
Kahve Otomatı: Basit hücresel otomatlarla karmaşıklığın zamanla değişimini modeller.
Kolmogorov Karmaşıklığı: Sıkıştırma ve algoritmik rastgeleliğin arkasındaki teorik altyapıyı sunar.
Variational Lossy Autoencoder: VAE ile ardışık kod çözücüleri birleştirip gizli kod kontrolünü sağlar.
Yapay Süper Zeka (Shane Legg): Çok yetenekli ajanlar için evrensel zeka ölçümü önerir.

Bu kaynakları incelemek, sadece modelleri hazır kullanmak yerine arkasındaki algoritmik mantığı ve sıkıştırma prensiplerini anlamak isteyen geliştiriciler için kritik bir yol haritasıdır.

Orijinal kaynağa buradan ulaşabilirsiniz.