Reliability and Consistency of ChatGPT-4o’s Responses to Frequently Asked Questions About Hypertension

KARAAYVAZ E., Bayraktar B. B., Güz G.

Bağcılar Tıp Bülteni, vol.11, no.2, pp.240-245, 2026 (TRDizin)

Abstract

Objective: To evaluate the quality, validity and reliability of the answers given by ChatGPT-4o to frequently asked questions about systemic arterial hypertension (HT), which directly concerns public health. Method: In this study, 30 frequently asked questions about HT from health forums and hospital websites were compiled and divided into four categories: General HT questions (n=10), treatment-related questions (n=10), specific questions (n=5), and questions based on the 2024 European Society of Cardiology (ESC) guidelines (n=5). Questions were asked in Turkish to ChatGPT-4o and the answers were evaluated by three cardiologists using the global quality scale (GQS). The consistency of the answers was tested by repeating the same questions on different days. Results: 56.7% of the responses were rated as high quality and comprehensive answers (GQS 5), 40% as largely comprehensive and good quality answers (GQS 4) and 3.3% as moderate quality (GQS 3). 80% of the questions based on the ESC guidelines received a GQS 5 score and demonstrated 100% reproducibility. Conclusion: ChatGPT-4o can provide reliable, accurate, and repeatable answers to frequently asked questions about HT. However, it should be noted that users should support this information with professional medical advice.
Amaç: Toplum sağlığını doğrudan ilgilendiren sistemik arteriyel hipertansiyon (HT) hakkında sıkça sorulan sorulara ChatGPT-4o’nun verdiği yanıtların kalite, geçerlilik ve güvenilirliğini değerlendirmektir. Yöntem: Bu çalışmada sağlık forumları ve hastane web sitelerinde yer alan HT ile ilgili 30 sık sorulan soru derlenmiş ve dört kategoriye ayrılmıştır: Genel HT soruları (n=10), tedaviyle ilgili sorular (n=10), spesifik sorular (n=5) ve 2024 Avrupa Kardiyoloji Derneği (ESC) kılavuzuna dayalı sorular (n=5). Sorular ChatGPT-4o’ya Türkçe yöneltilmiş ve verilen yanıtlar üç kardiyoloji uzmanı tarafından global kalite ölçeği (GQS) ile değerlendirilmiştir. Yanıtların tutarlılığı, aynı soruların farklı günlerde tekrarlanarak sorulmasıyla test edilmiştir. Bulgular: Yanıtların %56,7’si yüksek kaliteli ve kapsamlı yanıtlar (GQS 5), %40’ı büyük oranda kapsamlı ve iyi kalitede yanıtlar (GQS 4) ve %3,3’ü ise orta düzeyde kalite (GQS 3) olarak değerlendirilmiştir. ESC kılavuzuna dayalı soruların %80’i GQS 5 puanı almış ve %100 tekrarlanabilirlik göstermiştir. Sonuç: ChatGPT-4o, HT ile ilgili sık sorulan sorulara güvenilir, doğru ve tekrarlanabilir yanıtlar verebilmektedir. Ancak kullanıcıların bu bilgileri profesyonel tıbbi danışmanlıkla desteklemesi gerektiği unutulmamalıdır.