Addressing Patient Questions on Spinal Muscular Atrophy: Performance of Large Language Models in a Genetic Context
Summary
No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.
Summarise with VIRAT Free to try with your Science Catalogs account.Abstract
Objective: Large language models (LLMs) are increasingly used by the public to obtain medical and genetic information.Given the genetic complexity and public health relevance of spinal muscular atrophy (SMA), this study aimed to evaluate the quality, readability, and actionability of LLM-generated responses to SMA-related frequently asked questions (FAQs).Methods: Fifteen SMA-related FAQs were identified in Turkish using Google's "People Also Ask" feature and categorized into disease definition, genetic screening, and genetic diagnosis and treatment.Each question was submitted to the free versions of ChatGPT, Gemini, and DeepSeek.Responses were evaluated using the modified DISCERN instrument and a 5-point Likert scale for information quality; the Flesch-Kincaid reading ease and grade level for readability; and the Patient Education Materials Assessment Tool (PEMAT) for understandability and actionability.Results: Median DISCERN scores were 3.00 across all LLMs, indicating moderate information quality, and there was no significant difference among models (p = 0.069).Readability differed significantly, with ChatGPT producing responses at a lower Flesch-Kincaid grade level than that of Gemini and DeepSeek (p = 0.001).PEMAT understandability and actionability scores varied by question category, with significant differences observed for questions on disease definition and genetic screening (p < 0.05). Conclusion:LLMs generate SMA-related information with moderate quality and understandability; however, variability in readability, actionability, and topic-specific performance limits their suitability Amaç: Büyük dil modelleri (LLM'ler), tıbbi ve genetik bilgiye erişim amacıyla toplum tarafından giderek daha fazla kullanılmaktadır.Spinal musküler atrofi (SMA) hastalığının anlaması zorlayıcı genetik terimleri ve halk sağlığı açısından önemi göz önüne alındığında, bu çalışmada LLM'ler tarafından üretilen SMA ile ilişkili sıkça sorulan sorulara (SSS) verilen yanıtların kalite, okunabilirlik ve uygulanabilirlik açısından değerlendirilmesi amaçlanmıştır.Yöntemler: Google'ın "People Also Ask" özelliği kullanılarak 15 adet SMA ile ilişkili Türkçe SSS belirlenmiş ve bu sorular hastalığın tanımı, genetik tarama testleri ve genetik tanı ile tedavi olmak üzere üç başlık altında sınıflandırılmıştır.Her bir soru, ChatGPT, Gemini ve DeepSeek'in ücretsiz sürümleri kullanılarak sırayla sorulmuştur.Yanıtlar; bilgi kalitesi için modifiye DISCERN aracı ve 5 puanlı Likert ölçeği, okunabilirlik için Flesch-Kincaid Okunabilirlik Düzeyi ve Sınıf Seviyesi, anlaşılabilirlik ve uygulanabilirlik için ise Hasta Eğitim Materyalleri Değerlendirme Aracı (PEMAT) kullanılarak değerlendirilmiştir.Bulgular: Tüm LLM'lerde ortanca DISCERN puanı 3,00 olarak saptanmış ve bu değer orta düzeyde bilgi kalitesine işaret etmiş olup modeller arasında anlamlı fark izlenmemiştir (p = 0,069).Okunabilirlik açısından anlamlı farklılıklar saptanmış ve ChatGPT'nin Gemini ve DeepSeek'e kıyasla daha düşük Flesch-Kincaid Sınıf Seviyesi ile yanıtlar ürettiği görülmüştür (p = 0,001).PEMAT anlaşılabilirlik ve uygulanabilirlik puanları soru kategorilerine göre farklılık göstermiş; özellikle hastalık tanımı ve genetik tarama sorularında anlamlı farklar saptanmıştır (p < 0,05).
Fields of Study & Subjects
Artificial Intelligence in Healthcare and Education
Health Literacy and Information Accessibility
Social Media in Health Education
Publication details
- Journal / source
- Gazi Medical Journal
- Volume
- 37
- Issue
- 2
- Pages
- 230–237
- Publication date
- 31 March 2026
- Language
- EN