Насколько реально возможно в медицинской практике применить ту или иную технологию? Ответ на этот вопрос и больше информации содержится на сайте, где описана методика оценки медицинской нейросети.
Особенности нейросетей
Нейросети считаются перспективной версией помощи врачей. Они призваны не пропускать патологии. Нейросеть помогает поставить диагноз, будучи представленная в 4- категориях.
- Выдает ИП, или истинно положительный итог диагностики, доказывая, что раковая патология присутствует у больного.
- Нейросетевая машина может дать ложно-положительный прогноз, указывая на отсутствие реально существующей опухоли.
- Показывает, что рака нет, и его действительно нет.
- Дает ложно-отрицательный прогноз, но ошибается, поскольку раковые клетки развиваются.
В оценке моделей нейросетевой аппаратуры главными критериями выступает специфичность (выдача отрицательного результата при отсутствии заболевания), точные прогнозы (выдача правильного результата) и чувствительность (выявление патологий, если таковые существуют). Но главной измерительной величиной выступает AUC – метрика оценки мощности итоговой модели. Чувствительность и специфичность уже будут зависеть от этого показателя.
AUC – ключевая метрика в системе медицинской нейросетевой диагностики
Благодаря этому показателю, основанному на графике ROC, удалось выяснить, насколько верно дает показания нейросеть. Потому в оценке работы аппаратуры и ее прогнозов этот показатель выступает главенствующим элементом.
Практика показывает, что на уровне «есть рак/нет» рентгеновские снимки по метрике AUC будут более информативны по сравнению с маммологическими исследованиями. В целом ученые пришли к выводу, что нейросеть уместно применить в клинических случаях, когда показатель AUC равен 0.8 в его нижней границе допустимости.
Оценка модели нейросети зависит еще от нескольких факторов, поскольку знание метрики недостаточно. Специфика исследований и результативность определяется набором критериев следующего типа.
- Важен «золотой датасет» с необходимым объемом. К примеру, нейросеть обучена исследовать 10 тыс. снимков. Тогда будет нецелесообразно использовать ее для анализа 100 снимков.
- В ходе оценки нейросети невозможно игнорировать значимость локализации объектов и других механизмов, полученных в ходе кросс-разметки.
Без участия высококвалифицировнных медиков обучение нейрости и оценка ее эффективности будет безрезультатной.