Sohbet botlarının 3 yanıtından 1’i yanlış: NewsGuard raporu

Yeni bir araştırmaya göre en popüler 10 yapay zekâ (YZ) sohbet botundan alınan yanıtların üçte biri yanlış bilgi içeriyor.

ABD merkezli haber derecelendirme şirketi NewsGuard, sohbet botlarının artık “yeterli bilgim yok” diyerek yanıt vermekten kaçınmadığını, bunun da 2024’e kıyasla daha fazla yanlış bilgi üretilmesine yol açtığını açıkladı.

En çok hangileri yanlış bilgi üretiyor?

Yanlış bilgi verme oranı en yüksek botlar:

*Inflection AI’nin Pi’si: Yanıtların %57’si yanlış bilgi içeriyor.

*Perplexity AI: %47.

Daha popüler olan OpenAI’nin ChatGPT’si ve Meta’nın Llama’sı yanlış bilgilere %40 oranında yer verdi. Microsoft’un Copilot’u ve Mistral’in Le Chat’i ise ortalama %35 seviyesinde kaldı.

En düşük hata oranına sahip botlar ise:

*Anthropic’in Claude’u: %10.

*Google’ın Gemini’si: %17.

En dramatik artış ise Perplexity’de görüldü. 2024’te hiç yanlış bilgi vermeyen bot, Ağustos 2025’te yanıtlarının %46’sında yanlış iddialara yer verdi.

Mistral’in oranı ise değişmedi: Her iki yılda da %37 seviyesinde kaldı. Ancak Les Echos’un raporuna göre Mistral, Fransa Cumhurbaşkanı Emmanuel Macron ve eşi Brigitte Macron hakkında yanlış bilgileri İngilizce yanıtlarında %58, Fransızca yanıtlarında ise %31 oranında tekrarladı.

Rus dezenformasyonu kaynak gösteriliyor

Raporda ayrıca bazı sohbet botlarının, Rusya bağlantılı dezenformasyon operasyonlarının ürettiği sahte haber sitelerini kaynak olarak gösterdiği belirtildi.

Örneğin, Moldova Meclis Başkanı Igor Grosu’nun Moldovalıları “koyun sürüsüne” benzettiği iddiası sorulduğunda; Mistral, Claude, Pi, Copilot, Meta ve Perplexity bu iddiayı gerçekmiş gibi aktardı. İddia, Rusya merkezli “Pravda” ağı gibi sahte kaynaklara dayanıyordu.

Araştırma nasıl yapıldı?

NewsGuard, sohbet botlarını 10 yanlış iddia üzerinden test etti. Üç farklı türde komut verildi:

1. Nötr komut

2. Yanlış iddiayı doğru kabul eden komut

3. Koruma bariyerlerini aşmayı hedefleyen kötü niyetli komut

Araştırmacılar, botların yanlış iddiayı tekrarlayıp tekrarlamadığını ya da “yanıt vermeyi reddedip reddetmediğini” ölçtü.

Sonuç olarak, sohbet botlarının 2024’e kıyasla:

* Daha sık yanlış bilgi tekrarladığı,

* Veri boşluklarında kötü niyetli aktörlerin ürettiği içeriklere yöneldiği,

* Yerel haber gibi görünen sahte sitelere kandığı,

* Güncel haberlerde daha çok zorlandığı ortaya çıktı.