FreeLLMAPI: 34 Ücretsiz LLM Sağlayıcısı İçin Tek Bir OpenAI Uyumlu Uç Nokta

Günümüzde Google, Groq, Cerebras, Mistral, Cohere, NVIDIA, Cloudflare ve OpenRouter gibi neredeyse tüm yapay zekâ laboratuvarları ücretsiz bir kullanım katmanı (free tier) sunuyor. Tek başlarına bakıldığında her biri aylık birkaç milyon token veya günlük birkaç bin istekle sınırlı kalsa da, hepsi bir araya getirildiğinde işlevsel prototipler geliştirmek için ciddi bir kapasite oluşturur. Ancak bu servisleri tek tek entegre etmek; 34 farklı SDK, 34 ayrı hız sınırı (rate limit) ve gece yarısı patlayabilecek onlarca potansiyel hata noktası demektir.

FreeLLMAPI, tüm bu karmaşık yapıyı yerel makinenizde çalışan tek bir OpenAI uyumlu /v1 uç noktasına indirgeyen açık kaynaklı bir yönlendiricidir (router). Herhangi bir OpenAI istemcisini kendi yerel sisteminize bağlayarak, anahtarlarını eklediğiniz tüm sağlayıcılar arasında otomatik yönlendirme sağlayabilirsiniz.

Gerçekten Ücretsiz mi?

Yazılım tamamen ücretsizdir ve ücretsiz kalacaktır. Ücretli bir abonelik modeli bulunsa da yönlendiricinin temel işlevlerini kısıtlamaz:

Kalıcı Olarak Ücretsiz Olanlar: Yönlendiricinin kendisi MIT lisanslıdır; Docker, npm veya masaüstü uygulaması üzerinden kendi sisteminizde (self-host) çalıştırılabilir. Projede hesap açma zorunluluğu yoktur. Akıllı yönlendirme, hata durumunda devralma (failover), limit takibi, kontrol paneli, analizler ve test alanı (playground) dahil tüm yetenekler eksiksiz çalışır. Çıkarım (inference) maliyetsizdir çünkü kendi ücretsiz sağlayıcı anahtarlarınızı kullanırsınız; prompt'larınız asla uzak bir sunucuya gönderilmez.
Ücretli Olan Kısım: Ücrete tabi tek unsur, canlı model katalog akışıdır (yıllık 19$ veya ömür boyu 49$). Ücretsiz kurulumlar aynı imzalı kataloğu aylık anlık görüntüler (snapshot) şeklinde alır; yani yeni modeller ücretsiz kullanıcılara yaklaşık 30 gün sonra ulaşır. İstek sınırı veya özellik kısıtlaması uygulanmaz.

Para Dışındaki Esas Mesele: Kişisel Deney ve Öğrenme Odaklı

Bu araç doğrudan kişisel deneyler, öğrenme ve prototipleme süreçleri için tasarlanmıştır; üretim (production) ortamları için uygun değildir:

SLA ve Frontier Model Eksikliği: En gelişmiş uç (frontier) modeller yer almaz, gecikme süreleri değişkendir ve herhangi bir hizmet düzeyi garantisi (SLA) sunulmaz.
Günlük Kota Faktörü: Ücretsiz modeller günlük kotalarına ulaştıkça günün sonuna doğru uç noktanın efektif kalitesi düşebilir (kotalar UTC gece yarısında sıfırlanır). Canlıya çıkacak projelerde mutlaka ücretli API'lere geçilmelidir.

Toplayıcı (Aggregator) Nasıl Çalışır? İki Katmanlı Anahtar Mimarisi

Sistem, merkezi bir servis yerine yerel öncelikli (local-first) iki katmanlı bir anahtar mimarisi üzerinden işler:

1. Katman: Sağlayıcı Anahtarları (Gelen): Google AI Studio, Groq veya Cerebras gibi platformlardan aldığınız ücretsiz API anahtarlarını kontrol paneline girersiniz. Bu veriler yerel SQLite veritabanında AES-256-GCM ile şifrelenir ve yalnızca istek süresince bellekte çözülür.
2. Katman: Birleşik Anahtar (Giden): Yönlendirici, uygulamanızın kullanacağı freellmapi-... formatında tek bir taşıyıcı (bearer) token üretir. Uygulamanız yalnızca bu anahtarla yerel router'a bağlanır; router ise arka planda limitleri izleyip uygun sağlayıcıya yönlendirme ve devralma (failover) yapar.

Geliştiriciler İçin Pratik Çıkarımlar

Yazılım geliştiriciler ve LLM mimarilerini öğrenenler için FreeLLMAPI, sıfır bütçeyle dayanıklı prototipler üretmeyi, API anahtarı yönetimini soyutlamayı ve yerel bir ağ geçidi üzerinde hız sınırlama ile hata toleransı pratiklerini deneyimlemeyi sağlayan harika bir öğrenme ortamı sunar.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: API Anahtarı modülüne göz atın.