Результаты оказались разочаровывающими: из 100 случайных педиатрических случаев, диагностированных ChatGPT, точность составила всего 17%.
Специалисты подчеркивают, что диагностика детских заболеваний особенно сложна, так как требует учета не только всех симптомов пациента, но и его возраста.
В последние годы все больше людей рассматривают крупномасштабные языковые модели как потенциальный инструмент медицинской диагностики. В рамках исследования были собраны 100 случайных педиатрических случаев для диагностики с помощью ChatGPT.
Для упрощения процесса, исследователи использовали одинаковый подход к каждому случаю, задавая ChatGPT вопросы о «дифференциальной диагностике» и «окончательной диагностике».
Ответы чат-бота оценивались двумя педиатрами, не участвовавшими в исследовании, и классифицировались как «правильные», «неправильные» или «неполные диагнозы».
Из 17 правильных ответов ChatGPT, только 11 имели клиническую связь с правильным диагнозом, но все равно содержали ошибки.
Исследователи заключили, что на данный момент ChatGPT явно не может использоваться в качестве диагностического инструмента, но с более целенаправленным обучением его точность может быть улучшена.
