В недавнем исследовании, опубликованном на сервере препринтов medRxiv *, исследователи продемонстрировали, насколько хорошо системы человеческого суждения могут дополнять вычислительные модели в ответ на быстро развивающуюся пандемию коронавирусной болезни 2019 (COVID-19).

Фон

Пандемия COVID-19 унесла более шести миллионов жизней во всем мире и продолжает сеять хаос. К сожалению, экономическое и социальное бремя этой пандемии будет продолжать сказываться на мире гораздо дольше после того, как ее эпидемиологические последствия ослабнут. Системы эпидемиологического надзора и разработка политики значительно улучшились во время пандемии коронавируса тяжелого острого респираторного синдрома 2 (SARS-CoV-2). Тем не менее, они все еще отставали в ожидании появления новых вариантов SARS-CoV-2, внедрения вакцин и поведенческих адаптаций, таких как использование масок и использование вакцин.

Шесть-десять мультимодельных ансамблей и более 40 краткосрочных прогнозов позволили получить надежные прогнозы и прогнозы относительно COVID-19 в Соединенных Штатах (США). Тем не менее, есть возможности для улучшения; например, эти модели могут быть адаптированы на лету, чтобы сообщать об артефактах в данных.

Системы суждений человека стали надежным дополнительным подходом к эпидемиологическому прогнозированию на основе моделей. Ранняя интерактивная платформа, основанная на системах суждений человека, предсказывала траектории текущего сезона гриппа на одну-четыре недели вперед (в краткосрочной перспективе). Несмотря на сложность масштабирования и операционализации, этот метод оказался одним из лучших среди других вычислительных моделей. Совсем недавно для оценки случаев, смертей и воздействия вспышек вируса оспы обезьян в США, Европе и Канаде использовались человеческие системы суждений.

Об исследовании

В настоящем исследовании исследователи провели турнир по принятию решений о пандемии в реальном времени (RPDM), чтобы оценить платформу прогнозирования сообщества Metaculus. Он включал шесть раундов прогнозирования во время волны Omicron BA.1 в США в течение 18 недель с ноября 2021 года по март 2022 года. Примечательно, что Metaculus сгенерировал взвешенный ансамбль (предсказание Metaculus) в дополнение к индивидуальным прогнозам.

Хотя основная цель исследования заключалась в том, чтобы определить эффективность предсказания Metaculus по различным вопросам во время волны Omicron BA.1, команда также обобщила выводы из некоторых ключевых вопросов в рамках независимого набора Omicron.

Кроме того, команда изменила некоторые вопросы прогнозирования между двумя фазами исследования — фазой всплеска и фазой спада. Кроме того, они выявили несколько горизонтов прогнозирования для каждой переменной, чтобы сравнить неопределенность прогноза с течением времени. Текущее исследование было проведено в сотрудничестве с Департаментом здравоохранения Вирджинии.

Результаты исследования

Текущее пилотное исследование продемонстрировало, что ансамбли человеческих суждений могут давать ценные сигналы для принятия решений о пандемии в режиме реального времени в периоды высокой неопределенности, такие как всплеск Omicron BA.1 в США. По сравнению с iqrCOV, Metaculus работал немного лучше для горизонта прогноза менее двух недель. Metaculus также имел прогнозы, сопоставимые с medMAPE, на протяжении всего горизонта прогноза в 28 дней. В то время как эти две другие метрики занижали всплеск Omicron BA.1, прогнозы Metaculus имели более жесткие границы неопределенности после пика. Кроме того, Metaculus продемонстрировал почти 70-процентное покрытие межквартильного диапазона (IQR) на протяжении большей части горизонта прогноза. В дополнение к прогнозам сопоставимой точности, Metaculus предоставлял своевременные обновления по разнообразному набору вопросов. Дальше,

Центры США по заболеванию и профилактике (CDC) Nowcast оценили распространенность Omicron в 73,2% за неделю с 12 по 18 декабря 2021 года. Однако многие синоптики сочли эти оценки неправдоподобными, учитывая предполагаемую скорость роста Omicron. Позже CDC пересмотрел свои оценки, которые показали, что распространенность Omicron на этой неделе была намного ниже — с точечной оценкой 22,5% за пределами доверительного интервала предыдущей оценки. Синоптики Metaculus также предсказали 80-процентную вероятность того, что к 23 декабря 2021 года Омикрон будет менее смертоносным, чем Дельта.

Такие платформы, как Metaculus, не работают изолированно. Для этого требуются хорошо организованные информационные панели наблюдения за заболеваниями, общедоступные модельные прогнозы, активное обсуждение в социальных сетях и средствах массовой информации, а также быстрое распространение научных результатов посредством препринтов. Только тогда участники-люди служат эффективными агрегаторами информации, которые могут создавать прогнозы для интересующих переменных с помощью мысленных моделей.

Выводы

Платформы, основанные на человеческих суждениях, такие как Metaculus, выходят за рамки предоставления прямых прогнозов и должны быть объединены с вычислительными моделями, чтобы максимально использовать такие ансамбли. Поскольку они могут собирать информацию, интерактивные вычислительные модели и другие аналитические инструменты могут помочь им усвоить знания в предметной области и свести к минимуму определенные когнитивные искажения. Примечательно, что они также могут предоставить оценки «общественного пульса» поведенческих аспектов, таких как использование масок и использование вакцин. В целом, инструменты прогнозирования, такие как Metaculus, могут служить агрегаторами, трекерами и ансамблями таких прогнозов, которые будут полезны для политиков.

*Важное замечание

medRxiv публикует предварительные научные отчеты, которые не рецензируются экспертами и, следовательно, не должны рассматриваться как окончательные, направляющие клиническую практику/поведение, связанное со здоровьем, или рассматриваться как установленная информация.