Contrastive-LM (CLM-v0.1-8B) — Hugging Face'te Öne Çıkan Karar ve Sıralama Modeli

Model Mimarisi ve Genel Bakış

Contrastive-LM (CLM-v0.1-8B), ortam durumları (states) ile eylemleri (actions) birbirine bağlayan kontrastif öğrenme (contrastive learning) hedefiyle eğitilmiş yeni nesil bir "Sistem 1" (System One) modelidir. Mimarisi; çift yönlü InfoNCE kaybı ile optimize edilmiş, dondurulmuş (frozen) bir Qwen3-8B kodlayıcısı üzerine inşa edilen iki kompakt projeksiyon kafasından (durum kafası ve eylem kafası) oluşur. Omurgayı dondurarak yalnızca projeksiyon katmanlarını çalıştırmak, çıkarım maliyetlerini ciddi oranda düşürürken ajan döngülerine anlık tepki hızı kazandırır.

Temel Yetenekler ve Performans Çıkarımları

Modelin öne çıkan mimari bileşenleri ve pratik çıkarımları şunlardır:

Eğitim (Training): Model üç aşamalı bir veri hattından geçirilmiştir: ~60M Nemotron soru-cevap çiftiyle ön eğitim (pre-trained), ~30M sentetik zor negatif (hard negative) örnekle ara eğitim (mid-trained) ve ~1M ajan yörüngesi (agentic trajectories) ile sonradan eğitim (post-trained). Bu aşamalı yapı, modelin karar sınırlarını karmaşık senaryolarda dahi netleştirir.
Sıfır Atış (Zero-shot) Performansı: Bilgisayar kullanımı (computer-use), oyun simülasyonları ve araç çağırma (tool-calling) görevlerinde sektör standardı kabul edilen Jev modeli ile başa baş performans sergilerken, 9 kata kadar daha düşük gecikme (latency) sağlar.
Doğrulayıcı Olarak İnce Ayar (Fine-tuned as a verifier): DeepSWE (%81.6) ve Terminal-Bench 2.1 (%87.6) kıyaslamalarında SOTA seviyesine ulaşmış; Jev modeline kıyasla 4 ila 6 kat daha hızlı çalışarak otonom kodlama ajanları için ideal bir denetim mekanizması sunmuştur.
Durum ve Eylem Önbellekleme (State & Action Caching): Durumlar ve eylemler bağımsız olarak kodlandığı için eylem gömmeleri (action embeddings) önbelleğe alınıp yeniden kullanılabilir. Yaklaşık 1.000 aday aksiyon içeren senaryolarda Jev'e göre 13 kat daha hızlı çalışır.

Kullanım ve Entegrasyon (Usage)

Geliştiriciler contrastive-lm kütüphanesini sistemlerine şu pratik adımlarla dahil edebilir:

vLLM ve Servis Kurulumu: Arka planda vllm serve Qwen/Qwen3-8B --runner pooling komutuyla yüksek verimli embedding servisi başlatılır, ardından clm-serve aracıyla REST API ve yerel test arayüzü ayağa kaldırılır.
Tipli Durum Sorguları: Sistem 1 mantığıyla gelen metinler üzerinden Noul (ikili tespit), Choice (departman atama) veya Score (öfke seviyesi) tipleriyle yapılandırılmış, deterministik ve yüksek olasılıklı sınıflandırmalar yapılır.
Serbest Formlu Aday Sıralama (Reranking): Engine.rank() metodu kullanılarak best-of-N mantığıyla üretilen çözüm alternatifleri, araç seçimleri veya sonraki adımlar anında sıralanabilir.

İnce Ayar (Fine-tuning)

Yalnızca projeksiyon kafaları eğitildiği için fine-tuning süreci tek bir GPU üzerinde bile son derece ucuz ve hızlıdır. Paylaşılan temel kontrol noktası (checkpoint), DeepSWE ve Terminal-Bench benzeri özel doğrulayıcı kafalar geliştirmek için güçlü bir başlangıç noktasıdır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Reranking Modelleri: Serving ve Entegrasyon modülüne göz atın.