LLM System Design: Üretim Seviyesinde LLM Mimarileri ve İnteraktif Laboratuvar

Günümüzde yapay zekâ uygulamaları geliştirmek yalnızca basit bir API çağrısı yapmaktan çok daha fazlasını gerektirir. Gerçek dünya üretim ortamlarında yüksek performanslı, güvenli ve maliyet etkin sistemler inşa etmek; sağlam bir altyapı tasarımı gerektirir. lamhotsiagian/llm-system-design reposu, geliştiricilere ve yapay zekâ mimarlarına üretim seviyesinde (production-grade) Büyük Dil Modeli (LLM) sistemlerinin nasıl tasarlanacağını ve ölçekleneceğini öğreten açık kaynaklı bir platform ve interaktif laboratuvardır. 150'den fazla çevrimdışı birim testi ile desteklenen proje, mülakatlara hazırlanan veya kurumsal LLM mimarileri kurmak isteyen mühendisler için kapsamlı bir rehber niteliğindedir.

Reponun Sunduğu Değer ve Mimari Bileşenler#

Klasik yapay zekâ kütüphanelerinin aksine bu proje, LLM altyapısının temel bileşenlerini şeffaf ve anlaşılır bir biçimde ele alır. Geliştiriciler karmaşık kütüphane bağımlılıkları arkasında kaybolmadan sistem mimarisini adım adım inceleyebilirler. Projede iki ana bölüm bulunur:

• Saf Python LLM Platformu (project/): Ağır dış kütüphane bağımlılıkları olmadan tamamen saf Python standart kütüphanesiyle inşa edilmiştir. LLM sunumu (serving), RAG (Retrieval-Augmented Generation) akışları, akıllı sorgu ve model yönlendirme (routing), güvenlik duvarları (safety guardrails), hız sınırlama (rate limiting - token bucket) ve ajan kontrol düzlemini (agent control plane) barındırır. Ayrıca anlamsal önbellekleme (semantic cache) ve KV cache gibi kritik kavramlar uygulamalı olarak gösterilir. İsteğe bağlı olarak FastAPI servislerine dönüştürülebilir veya vLLM, TGI ve Ollama gibi OpenAI uyumlu uç noktalara kolayca bağlanabilir.
• İnteraktif Web Laboratuvarı (lab/): LangChain ve Streamlit altyapısı kullanılarak geliştirilmiş görsel bir kullanıcı arayüzüdür. Yerel llama3.1 ve nomic-embed-text Ollama modelleriyle entegre çalışır. İnternet bağlantısı olmadığında bile belirleyici (deterministic) çevrimdışı yedekleme mekanizmaları sayesinde kesintisiz çalışmaya devam eder.

Nasıl Kullanılır? Pratik Örnekler#

Geliştiriciler projeyi farklı kullanım ve öğrenme senaryoları için hızla yapılandırabilir:

• Telemetri Destekli Uçtan Uca Demo: project/ dizininde python run_demo.py komutu çalıştırılarak tüm LLM boru hattı telemetri verileriyle birlikte anlık olarak izlenebilir ve test edilebilir.
• Çevrimdışı Test ve Doğrulama: pytest komutu çalıştırılarak internet bağlantısına ihtiyaç duymadan 150'den fazla birim testi üzerinden RAG, güvenlik kuralları ve yönlendirme mantığı incelenebilir.
• Yerel Web Arayüzü Deneyleri: lab/ dizinindeki Streamlit uygulamasını başlatarak yerel Ollama modelleri üzerinden canlı sorgulamalar yapılabilir ve arayüz üzerinde mimari bileşenlerin davranışı gözlemlenebilir.

Benzer Araçlarla Karşılaştırma#

LangChain, LlamaIndex veya AutoGen gibi popüler çatılar sistem detaylarını yüksek seviyeli soyutlamalar arkasına gizler. Bu durum, geliştiricilerin arka planda dönen önbellekleme, güvenlik kontrolü ve bellek yönetimi gibi kritik süreçleri derinlemesine anlamasını zorlaştırabilir. llm-system-design ise mimariyi en yalın haliyle sunarak sistem tasarımını öğrenmeyi ön planda tutar. LiteLLM veya vLLM gibi doğrudan üretim odaklı araçlara kıyasla hem eğitici bir laboratuvar hem de modüler bir referans mimarisi işlevi görür.