Ошибки статистического анализа и методологии исследований в статьях, направляемых в журнал «Акушерство и гинекология»

Правильное использование статистического анализа и научной методологии имеет большое значение для получения объективных и надежных результатов в медицинских исследованиях. Исследования с низким методологическим качеством и плохой статистикой не могут с уверенностью подтвердить или опровергнуть гипотезу исследования.
Целью настоящего обзора было информирование авторов о существующей проблеме и привлечение их внимания к их доле ответственности за качество статистического анализа и методологии исследований.
В этом обзоре описываются ошибки статистического анализа и методологии исследований, которые наиболее часто встречались в рукописях, направляемых в редакцию журнала «Акушерство и гинекология» в период с 2018 по 2020 гг. Анализ показал, что многие из этих статей содержали ошибки в описании, применении, интерпретации и описании результатов статистического анализа или в дизайне исследований.
Заключение. Авторы биомедицинских статей должны нести ответственность за качество статистического анализа и методологии исследований, поскольку ценные исследования могут оказаться напрасными из-за неправильного использования статистики и низкого методологического качества исследований.

Научная обоснованность и объективность результатов любого медицинского исследования зависят от грамотности его планирования и проведения, использования адекватных методов измерения, правильного применения статистических методов и интерпретации результатов. К сожалению, применение статистики в медицинских исследованиях далеко не всегда представляет собой ее грамотное использование. Низкое качество статистического анализа в медицинских журналах является старой и широко распространенной проблемой. По оценкам, опубликованным в западных медицинских журналах, частота ошибочного применения статистических методов в научно-медицинских публикациях может варьировать от 30% до 90% [1, 2].

Не являются исключением и научные исследования в акушерстве и гинекологии. В 1993 г. журнал Obstetrics and Gynecology провел исследование по оценке способности своих рецензентов выявлять статьи со статистическими ошибками [3], после чего его редакционная коллегия ввела стандартную проверку рукописей статистическим рецензентом перед их окончательным принятием. Последующая редакционная проверка эффективности этой политики выявила, что практически каждая шестая статья, одобренная рецензентами по специальности, содержала недопустимые ошибки статистического анализа [4].

В 1996 г. был опубликован анализ применения статистических методов в другом журнале – American Journal of Obstetrics and Gynecology [5]. Из включенных в исследование 145 статей только 44 (30,3%) оказались приемлемыми с точки зрения статистического анализа. В остальных статьях было выявлено некорректное применение статистических методов, в т.ч. грубые ошибки, которые были обнаружены в 27 (18,6%) публикациях.

Отечественные исследования в области медицины характеризуются еще более низкой статистической культурой, о чем свидетельствует ряд публикаций, посвященных использованию статистики в научно-медицинских исследованиях [6–9].

Ошибки при проведении исследований могут стать причиной неправильных результатов, что в настоящее время рассматривается как нарушение исследовательской этики [10] в связи с неоправданным риском, которому подвергаются участники исследований, бессмысленной тратой материально-финансовых ресурсов и времени, а также из-за возможных вредных последствий применения результатов таких исследований для лечения больных.

Одной из причин низкого качества статистического анализа научных исследований является отсутствие статистической экспертизы в редакциях отечественных журналов, тогда как, например, в журнале JAMA такая экспертиза осуществляется с 1964 г. [11].

В 2018 г. редакция журнала «Акушерство и гинекология» ввела статистическое рецензирование статей, поступающих в ее адрес с предложениями о публикации. В этом обзоре описываются ошибки статистического анализа и методологии исследований, которые наиболее часто встречались в направляемых в редакцию рукописях за прошедшие 2 года.

Ошибки статистического анализа

В самом общем виде требования к описанию статистического анализа приводятся в «Рекомендациях по проведению, описанию, редактированию и публикации результатов научной работы в медицинских журналах» (Рекомендации ICMJE): «Описывайте статистические методы достаточно подробно, чтобы дать возможность компетентному читателю, имеющему доступ к исходным данным, проверить представленный результат. Когда возможно, представляйте полученные результаты в количественной форме и приводите их с соответствующими ошибками измерения или неопределенности (такими, как доверительный интервал). Старайтесь не ограничиваться лишь проверкой гипотезы, приводя уровень значимости Р, ведь он не дает информации о размере наблюдаемого эффекта» [12].

В настоящее время международным стандартом представления результатов статистического анализа в клинических медицинских журналах являются рекомендации SAMPL [13]. Эти рекомендации включены в правила для авторов журнала «Акушерство и гинекология», ссылка на их русскоязычный текст имеется на сайте журнала.

К сожалению, далеко не все поступающие в редакцию журнала «Акушерство и гинекология» статьи соответствует этим рекомендациям. Ниже дается краткое описание ошибок статистического анализа, выявленных за последние 2 года в статьях, полученных редакцией журнала.

Статистический анализ в разделе «Материалы и методы» не упоминается, но в разделе «Результаты» в конце некоторых предложений указаны р<0,05, которые непонятно к чему относятся и что означают. Это самое вопиющее проявление статистической безграмотности. Таких статей не много, но они периодически поступают.

В разделе «Материалы и методы» сообщается о применении некоего статистического критерия, но далее в разделе «Результаты» он ни разу не упоминается и нет никаких признаков его использования.

Обратная ситуация: в разделе «Результаты» имеются признаки применения метода статистического анализа, который в разделе «Материалы и методы» не упоминается. Например, в описании статистического анализа сообщается о применении t-критерия Стью...

Аксёнов В.А.