CLIP ve DINO ile Belirsizlik Farkındalıklı Kademeli Füzyon: Genellenebilir Deepfake Tespiti (UCF-Net)

1. Problem Tanımı ve Mevcut Modellerin Sınırları

Yapay zekâ tabanlı yüz manipülasyonlarının ve sentetik medya üretiminin erişilebilirliği hızla artarken, dijital içeriklerin güvenilirliği ciddi bir tehdit altındadır. Bu sahtecilikleri tespit etmek amacıyla görme tabanlı temel modellerden (vision foundation models) yararlanan dedektörler başarılı sonuçlar verse de önemli bir yapısal darboğaza sahiptir: Genellikle tek bir önceden eğitilmiş temsile dayanırlar. Bu bağımlılık, dedektörlerin eğitim veri setindeki belirli dağılımlara aşırı uyum sağlamasına (overfitting) ve daha önce görülmemiş yeni üretim teknikleriyle oluşturulan sahtecilikler karşısında yetersiz kalmasına yol açmaktadır.

2. Çözüm: UCF-Net ve Çift Temel Model Önceliği

Görülmemiş sahteciliklere karşı genelleme yeteneğini güçlendirmek amacıyla UCF-Net (Uncertainty-Aware Cascaded Fusion Network) mimarisi önerilmektedir. Bu yaklaşım, iki farklı temel modelin sunduğu tamamlayıcı öncülleri bir araya getirir:

CLIP'in Dil Hizalamalı Semantik Öncelleri: Metin ve görüntü eşleştirmesinden elde edilen yüksek seviyeli anlamsal ipuçlarını sisteme kazandırır.
DINO'nun Görsel-Yapısal Öncelleri: Kendi kendini denetleyen (self-supervised) öğrenme mekanizmasıyla pikseller arasındaki yapısal ve geometrik detayları korur.

3. Katmanlı Mimari Mekanizmaları

UCF-Net, çoklu model temsilini optimize etmek için üç aşamalı bir füzyon stratejisi izler:

Hiyerarşik Öznitelik Çıkarımı: Transformer mimarisinin farklı derinlik katmanlarındaki zengin özellikleri hiyerarşik olarak toplar.
Katman Bazlı Uzman Birleştirme (Layer-wise Expert Aggregation): Her bir enkoderin sunduğu çok seviyeli öznitelikleri dinamik ve adaptif olarak birleştirir.
Entropi Tabanlı Belirsizlik Füzyonu: Modellerin tahminlerindeki entropi kaynaklı belirsizliği ölçerek, temsilleri güvenilirlik derecelerine göre ağırlıklandırır.

4. Kapsamlı Kıyaslama ve Değerlendirme Veri Seti

Modelin gerçek dünya koşullarındaki dayanıklılığını doğrulamak için geniş çaplı bir test ortamı yapılandırılmıştır:

4 Milyon Görsellik Birleşik Benchmark: Halka açık çeşitli deepfake veri setleri konsolide edilerek devasa bir kıyaslama standardı oluşturulmuştur.
8 Farklı Üreteçli Çapraz Değerlendirme: Son dönemde geliştirilen sekiz güncel görüntü üretecinden derlenen 8.000'i aşkın yüz görseliyle bağımsız bir test seti kurulmuştur.

5. Deneysel Bulgular ve Yazılım Geliştirme Çıkarımları

Üstün AUC Başarısı: UCF-Net, birleşik kıyaslama setinde hem alan içi (in-domain) hem de alanlar arası (cross-domain) değerlendirmelerde en yüksek ortalama AUC skorunu elde etmiştir.
Few-Shot Adaptasyon: Çapraz üreteç testlerinde sınırlı miktarda hedef alan verisiyle etkili adaptasyon sağlarken, sıfır örnekli transfer (zero-shot) halen aşılması gereken bir zorluk olarak öne çıkmaktadır.
Yazılım ve Mimari Çıkarımlar: Üretim ortamlarında deepfake ve manipülasyon tespit sistemleri tasarlayan mühendisler için tek bir modele bel bağlamak büyük bir risk taşır. Semantik ve yapısal modelleri entropi tabanlı belirsizlik ağırlıklarıyla birleştiren kademeli mimariler kurmak, model sürüklenmesini (drift) önleyen ve dağıtım dışı (out-of-distribution) verilere karşı sistemi dayanıklı kılan kritik bir tasarım desenidir.

Orijinal kaynağa buradan ulaşabilirsiniz.