Gerçek Test Klinikte Başlar

Klinik yapay zekâyı doğrulayan şey, testlerdeki başarısı değil; gerçek klinik pratiğin içinde güvenilir şekilde çalışmayı sürdürebilmesidir.

Bir klinik yapay zekâ sisteminin kıyaslama testlerindeki performansı, bir başlangıç noktasıdır. Kontrollü koşullarda ölçülen doğruluk, uzman görüşüyle uyum, dokümantasyon süresindeki azalma — bunların hepsi anlamlıdır. Ama hiçbiri tek başına, o sistemin gerçek bir muayenede ne yapacağını göstermez. Çünkü gerçek klinik ortam farklı sorular sorar.

Gerçek Klinik Ortamın Sorduğu Sorular

Bir kıyaslama veri seti, kesintileri ölçmez. Eğitim verisinde hiç görülmemiş uç vakaları ölçmez. Hekimin, sistemi tasarımcının öngörmediği bir biçimde kullanmasını ölçmez. Mesai yoğunluğunun, araçların gerçekte nasıl kullanıldığını nasıl değiştirdiğini ölçmez.

Gerçek klinik ortamda sorulan sorular başkadır: Bu iş akışı, öngörülemeyen koşullarda sürdürülebilir mi? Hekimin mevcut alışkanlıkları ve kısıtlarıyla birlikte çalışıyor mu? Bir SGK itirazında ya da Sağlık Bakanlığı denetiminde, bu çıktı geçerliliğini koruyor mu?

Bunlar, yalnızca sistemin gerçek kullanımda test edilmesiyle yanıtlanabilecek sorulardır. Gerçek ortamda doğrulama, kıyaslama testinden daha zor değildir; bambaşka bir soruyu yanıtlar. Kıyaslama testi, sistemin ürettiği çıktıyı önceden belirlenmiş doğru yanıtla karşılaştırır: sabit bir veri setinde, kontrollü koşullarda, çıktı ne kadar isabetli? Gerçek ortam ise bunu değil, iş akışının bütününün gerçek koşullar altında sürdürülebilir olup olmadığını ölçer — ve asıl belirleyici olan budur. Çünkü tek tek doğru çıktılar üreten bir sistem bile, hekimin akışına oturmuyorsa klinik pratikte işlemez.

Tasarımın Olgunlaştığı Yer

AIM bir laboratuvarda kurulup kıyaslama veri setlerinde doğrulanmadı. Gerçek klinik ortamla doğrudan temas ederek geliştirildi — ve tasarımı bu temasla olgunlaştı. Klinik kullanımdan yalıtılmış biçimde geliştirilen bir platform, yanlış hedeflere göre iyileşir: test ortamında iyi görünen ölçütleri — kontrollü koşullardaki doğruluğu, hızı — yükseltir; ama bunlar gerçek muayenede işe yaramanın ölçüsü değildir. Neyi gerçekten iyileştirmek gerektiğini gösteren bilgi ise başka yerden gelir: hekimlerin günlük akışta gerçekten zorlandığı noktalardan, gerçek dokümantasyon akışında ortaya çıkan boşluklardan, yapılandırılmış çıktının klinik gerçekliğe oturmadığı anlardan. Bu bilgi yalnızca aktif kullanımdan doğar; ve platformu asıl önemli olan yönlerde ancak bu bilgi ilerletir.

Klinik Kullanımla Gelişen Bir Platform

AIM, son altı aydır gerçek bir klinik ortamda aktif olarak kullanılıyor. Bu süre boyunca platform; hekim geri bildirimleri, gerçek dokümantasyon süreçleri ve ancak günlük klinik pratiğin görünür kılabildiği ihtiyaçlar doğrultusunda gelişmeye devam etti.

Bu bir ürünün geliştirme sürecinden sonra kullanıma sunulmasının hikâyesi değil; ürünün gelişiminin bizzat klinik kullanımın içinde gerçekleştiğinin göstergesidir. Çünkü klinik pratikte güvenle kullanılabilecek bir yapay zekâ sistemi, laboratuvarda tamamlanmaz; gerçek klinik deneyimle olgunlaşır.

Bir Sonraki Adım

Origination aşaması, yapılandırılmış klinik dokümantasyonun neden gerekli olduğunu ortaya koydu. Dokuz modülün klinik mantığını, hekim sahipliğini esas alan mimariyi ve iş akışındaki sıranın neden belirleyici olduğunu anlattı.

AIM bugün aktif olarak kullanılmaktadır. Origination, platformun nasıl tasarlandığını anlattı. Clinical Validation ise bu tasarımın gerçek klinik ortamda nasıl karşılık bulduğunu gösterecek.