Ürolojide Hekim ve Yapay Zeka Tarafından Oluşturulan Mesajlar: Doğruluk, Bütünlük ve Hasta ile Hekim Tercihlerinin Değerlendirilmesi

Giriş ve Amaç

Yapay zeka (YZ) ve özellikle Büyük Dil Modellerinin sağlık hizmetlerine entegrasyonu, hasta-hekim iletişimini dönüştürme potansiyeli taşımaktadır. Ancak, Kişisel Sağlık Bilgilerinin güvenliği ve YZ tarafından üretilen yanıtların klinik doğruluğu konusundaki endişeler, bu teknolojilerin klinik pratikte benimsenmesini zorlaştırmaktadır. Bu çalışma, korumalı bir “sandbox” ortamı kullanarak, Benign Prostat Hiperplazisi (BPH) ile ilgili sık sorulan hasta sorularına verilen hekim yanıtları ile YZ chatbot yanıtlarını karşılaştırmayı amaçlamıştır. Çalışmanın temel hedefi; doğruluk, kapsamlılık, empatik ton ve hasta tercihi açısından her iki grubun performansını ampirik olarak değerlendirmektir.

Gereç ve Yöntem

Bu kesitsel çalışmada, bir sağlık sisteminin triyaj ekibi tarafından derlenen ve BPH’nin preoperatif değerlendirme, cerrahi süreç ve postoperatif iyileşme evrelerini kapsayan 20 yaygın hasta sorusu kullanılmıştır.

• Yanıt Üreticileri: Sorular, dört kurul onaylı ürolog ve iki farklı chatbot (OpenAI’nın GPT-4 tabanlı büyük dil modeli “Kaiser Permanente GPT” ve literatür destekli Geri Getirme Artırılmış Üretim mimarisi ile yapılandırılmış “SurgiChat”) tarafından yanıtlanmıştır.
• Değerlendirme: Yanıtlar körlenmiş olarak iki farklı grup tarafından değerlendirilmiştir:
  1. Konu Uzmanı Ürologlar: Yanıtları doğruluk (6’lı Likert), bütünlük/kapsayıcılık (3’lü Likert) ve empatik ton (5’li Likert) açısından değerlendirmişlerdir.
  2. Tıbbi Olmayan Gönüllüler (n=5): BPH hedef kitlesini temsil eden (erkek, >50 yaş), eğitim düzeyi yüksek gönüllüler; yanıtları empatik ton, tercih sıralaması ve kaynağın (insan veya chatbot) tespiti açısından puanlamıştır.

Bulgular

Çalışma sonucunda toplam 840 veri noktası (gönüllülerden 600, uzmanlardan 240 değerlendirme) analiz edilmiştir. Elde edilen veriler, YZ tabanlı yanıtların klinik metriklerde hekimlere kıyasla üstün veya eşdeğer performans gösterdiğini ortaya koymuştur.

1. Konu Uzmanı Ürologların Değerlendirmeleri:

• Doğruluk: Chatbotlar ile ürologlar arasında istatistiksel olarak anlamlı bir fark bulunmamıştır (Chatbot ortalama puanı: 4.5 [SD 1.1] vs. Ürolog ortalama puanı: 4.6 [SD 1.2]; p = 0.2). Her iki grup da “neredeyse tamamen doğru” seviyesinde performans göstermiştir.
• Bütünlük: Chatbot yanıtları, ürologlara kıyasla anlamlı derecede daha kapsamlı bulunmuştur (Ortalama: 2.4 vs. 1.6; p < 0.001). Ürolog yanıtları genellikle “yeterli” olarak değerlendirilirken, chatbot yanıtları “kapsamlı” sınıfına girmiştir.
• Empatik Ton: Uzmanlar, chatbot yanıtlarını ürolog yanıtlarına göre daha empatik bulmuştur (Ortalama: 3.2 vs. 2.4; p < 0.001).

2. Tıbbi Olmayan Gönüllü Değerlendirmeleri ve Hasta Tercihi:

• Empati Algısı: Gönüllüler, chatbot yanıtlarını (Ortalama: 3.0) ürolog yanıtlarına (Ortalama: 2.1) kıyasla istatistiksel olarak anlamlı düzeyde daha empatik bulmuştur (p < 0.001).
• Tercih Sıralaması: Katılımcılar, chatbot tarafından oluşturulan yanıtları daha yüksek oranda tercih etmiştir (Tercih sıralaması ortalaması: 2.6 [daha düşük skor daha yüksek tercih], Ürolog: 3.9; p < 0.001).
• Kaynağı Ayırt Etme: Gönüllülerin bir yanıtın chatbot mu yoksa insan mı olduğunu doğru tahmin etme oranı %59 olup, bu oran rastgele tahminden (%67) farksızdır (p = 0.089). İlginç bir şekilde, gönüllüler bir yanıtın insan tarafından yazıldığını düşündüklerinde (yanıt aslında YZ olsa bile), o yanıta daha yüksek empati ve tercih puanı vermişlerdir.

Tartışma ve Sonuç

Bu çalışma, BPH ile ilgili hasta iletişiminde YZ chatbotlarının, uzman ürologlar kadar doğru ancak daha kapsamlı ve empatik yanıtlar üretebildiğini göstermektedir. Hekimlerin yanıtlarının daha kısa ve “yeterli” düzeyde kalması, klinik iş yükü ve zaman kısıtlamaları ile açıklanabilir; zira chatbotların ürettiği ortalama 300 kelimelik yanıtların bir insan tarafından yazılması yaklaşık 7-8 dakika sürmektedir.

Klinik açıdan önemli sonuçlar şunlardır:

1. Güvenilirlik: YZ, BPH gibi sık karşılaşılan ürolojik durumlarda, preoperatif ve postoperatif süreçler dahil olmak üzere, uzman denetimine eşdeğer doğrulukta bilgi sağlayabilmektedir.
2. Hasta Memnuniyeti: Hastalar (veya hasta profiline uygun gönüllüler), YZ tarafından sağlanan daha detaylı ve empatik tonlu mesajları tercih etmektedir. Ancak, “insan” faktörüne duyulan güvenin yüksek olması nedeniyle, YZ kullanımının şeffaflığı ile algılanan kalite arasında ters bir ilişki gözlemlenmiştir (YZ olduğu bilindiğinde tercih azalabilmektedir).
3. İş Yükü Yönetimi: YZ destekli taslak yanıtların kullanımı, ürologların üzerindeki idari yükü ve tükenmişliği azaltma potansiyeline sahiptir.

Sonuç olarak, YZ algoritmalarının üroloji ofis iletişimine entegrasyonu, hekimin “bekçilik” rolünü koruması şartıyla, hasta eğitimini iyileştiren ve klinik verimliliği artıran güvenilir bir araç olarak değerlendirilmektedir.