Cinayet Davasında Yapay Zekanın Uydurduğu Tanıklar Nedeniyle Avukata 5.000 Dolar Ceza

New Mexico Yüksek Mahkemesi, müvekkilinin cinayet mahkumiyetine yönelik temyiz başvurusunda yapay zeka tarafından uydurulmuş tanıklara ve sahte polis ifadelerine yer veren bir avukatı cezalandırdı. Reuters'ın haberine göre mahkeme, avukat Stephen Aarons'ı yapay zeka ile hazırladığı dilekçedeki "olgusal iddiaları ve hukuki dayanakları doğrulamadığı" gerekçesiyle mahkemeye itaatsizlikten suçlu bularak 5.000 dolar para cezasına çarptırdı.

Uydurma Tanıklar ve Sahte İfadeler

Resmi mahkeme kaydına göre sunulan temyiz dilekçesi, gerçekte hiç var olmayan tanıkların ifadelerinin yanı sıra silahlı saldırganın kıyafeti ve fiziksel görünüşüne dair tamamen asılsız iddialar içeriyordu. Ağustos ayında gerçekleştirilen duruşmada ChatGPT kullandığını itiraf eden Aarons, yapay zekanın duruşma sürecine dair "kurşun geçirmez" bir özet çıkaracağını düşündüğünü belirtti.

Yüksek Mahkeme Yargıcı C. Shannon Bacon, avukatın yapay zekanın taşıdığı risklerin farkında olmamasına sert tepki gösterdi. Yargıç Bacon, duruşmada avukata şu çarpıcı soruları yöneltti:

"Avukat Bey, haberleri izlemiyor musunuz? Radyo dinlemiyor musunuz? Dünyada neler olup bittiğine dair hiçbir şey okumuyor musunuz? Çünkü avukatların yapay zeka halüsinasyonlarına güvenmesi her gün manşetlerde yer alan bir olay."

Aarons ise Reuters'a yaptığı açıklamada derin bir pişmanlık duyduğunu, ancak disiplin kurulunun bunun "dürüst bir hata" olduğunu göz önünde bulundurmasını umduğunu söyledi.

Hukuk Sektöründe Yinelenen Bir Kriz

Hukuk alanında üretken yapay zeka araçlarının kullanımı yaygınlaşırken, mahkemelerin yapay zeka tarafından uydurulan veya halüsinasyon sonucu üretilen sahte atıfları tespit ettiği vakalar da artış gösteriyor:

Geçtiğimiz yıl bir yargıç, çok sayıda asılsız, hatalı ve yanıltıcı hukuki atıf içeren dilekçeler sunan iki hukuk bürosuna sert yaptırımlar uyguladı.
MyPillow yöneticisi Mike Lindell'in avukatları da dilekçelerine yapay zekanın ürettiği sahte alıntılar ve uydurma atıflar ekledikleri için para cezasına çarptırıldı.

Yazılım Geliştiriciler ve Öğrenenler İçin Pratik Çıkarımlar

Bu vaka, yapay zeka uygulamaları geliştiren mühendisler ve bu alanda öğrenim görenler için kritik dersler barındırmaktadır:

LLM'lerin Olasılıksal Doğası: Büyük dil modelleri birer gerçeklik motoru veya bilgi tabanı değil, olasılıksal metin tamamlayıcılardır. Model, doğru bilgiye sahip olmasa bile son derece inandırıcı görünen sahte kanıtlar (halüsinasyon) üretebilir.
Human-in-the-Loop (İnsan Denetimi): Yasal, tıbbi veya finansal gibi yüksek risk içeren alanlarda çalışan sistemlerde yapay zeka çıktıları asla insan denetimi olmadan nihai ürün ya da belge olarak kullanılmamalıdır.
RAG ve Kaynak Doğrulama Zorunluluğu: Üretim ortamındaki sistemlerde halüsinasyonları önlemek için modeller yalnızca doğrulanmış bağlamlarla (Retrieval-Augmented Generation) çalışmaya zorlanmalı ve kaynak doğrulama mekanizmalarıyla desteklenmelidir.
Güvenilirlik ve Değerlendirme Testleri: LLM tabanlı çözümler geliştirilirken, modellerin uydurma içerik üretme riskini tespit eden otomatik değerlendirme ve doğrulama boru hatları kurulmalıdır.

Orijinal makaleye buradan ulaşabilirsiniz.