Уважаемые коллеги!

Жизненные реалии таковы: результаты сегодняшнего эксперимента могут не совпадать с результатами, полученными месяц назад или полученными коллегами из другой лаборатории. По результатам опроса Nature более 70% исследователей пытались воспроизвести эксперименты другого ученого, но не смогли, а более половины - не смогли воспроизвести и собственные эксперименты. Критики начали говорить о «кризисе воспроизводимости в науках о жизни». Это выражение все чаще попадает на страницы авторитетных журналов.

Воспроизводимость результатов исследования означает, что при повторении исследования результаты экспериментов, наблюдений или статистического анализа должны быть получены снова с высокой степенью надежности. Только после нескольких успешных повторений результат должен быть признан научным знанием (https://en.wikipedia.org/wiki/Reproducibility).

Насколько это актуально? Текущие оценки воспроизводимости биомедицинских исследований в области онкологии, женского здоровья и сердечно-сосудистых заболеваний составляют всего 10-50 % от общего числа публикаций. С экономической точки зрения это привело к потере около 28 миллиардов долларов в год только в Соединенных Штатах. Кроме того, не смотря на повсеместное и широко признанное улучшение научных и технологических инструментов, новые соединения терпят неудачу в клинической практике чаще, чем в 1970-е годы [1].

Плохая воспроизводимость результатов экспериментов является не только экономической, но и этической проблемой, поскольку необходимость в дополнительных исследованиях подрывает цель GLP: сократить использование животных [2]. Однако в США нормативные документы прямо предостерегают исследователей от «ненужного» на их взгляд дублирования экспериментов, поскольку такое дублирование связано с «перерасходом» животных и противоречит принципам «3R». С циничной точки зрения это является реализацией одного из законов Мэрфи о медицинских исследованиях, а именно, закона Фетта о лабораторных исследованиях:

"Никогда не повторяйте успешный эксперимент!"

В качестве превентивной меры по улучшению воспроизводимости экспериментов нормативные документы по уходу за животными и их использованию рекомендуют исследователям стандартизировать («гомогенизировать») условия своих экспериментов [3]. Идея стандартизации состоит в том, чтобы (аналогично химическим и физическим экспериментам) изолировать интересующие переменные, минимизировать фоновый шум и максимизировать обнаружение даже незначительных эффектов лечения (повысить внутреннюю валидность эксперимента). Однако, в отличие от более простых химических и физических объектов, живой организм является «системой с памятью» и его реакция на экспериментальное воздействие (фенотип) зависит не только от генотипа, но и от истории организма (прошлых воздействий окружающей среды). Это соответствует концепции «нормы реакции», которая была введена Ричардом Вольтереком более ста лет назад.

Суть подхода «нормы реакции» состоит в том, чтобы отказаться от идеи сделать одно «единственно истинное измерение» какого-либо параметра для «эталонной» выборки экспериментальных животных. Напротив, следует признать, что результаты каждого эксперимента представляют собой разные точки на кривой «нормы реакции» выборки экспериментальных животных [4]. Например, после экспозиции животных к хроническому непредсказуемому стрессу среди них достоверно чаще, чем в выборке интактных животных, начинают встречаться поведенческие фенотипы, связанные с депрессией (ангедония) и тревогой (повышенный страх и подавление двигательной активности при обследовании новой среды) [5].

В этом контексте эффективная стандартизация условий среды снижает индивидуальные различия фенотипов животных в исследуемой популяции до нуля. Это приводит к появлению статистически значимых, но, возможно, нерелевантных результатов экспериментов, которые не могут быть обобщены на несколько иные условия, порождающие другие фенотипы (так называемая «ошибка стандартизации») [2]. По образному выражению эколога Тима Паркера (Tim Parker): «что мы можем сказать о снежинках вообще, если будем изучать одну единственную снежинку?» [6].

В качестве альтернативы стандартизации Richter с соавторами предложил идею «гетерогенизации» экспериментов (имитацию проведения экспериментов в разных лабораториях) [7]. В их исследовании систематическая гетерогенизация достигалась путем изменения двух факторов окружающей среды: (1) обогащение клетки и (2) фактический возраст животного на время тестирования. Согласно плану 2×2, каждый фактор варьировался на двух уровнях факторов A и B, что приводило к четырем различным комбинациям факторов (1A, 1B, 2A, 2B). В рамках этого плана авторы сравнили поведение мышей линий С57Bl/6 и BALB/c в тестах «открытое поле», «свободное исследование» и «распознавание нового объекта». Для каждой линии животных были проведены 4 эксперимента в стандартизированных («гомогенизированных») условиях, имитирующих повторное проведения эксперимента в одной и той же лаборатории одним и тем же экспериментатором, и 4 эксперимента в гетерогенизированных условиях, имитирующих проведение эксперимента в разных лабораториях. Оказалось, что разброс данных между экспериментами, проведенными в стандартизированных условиях, значительно превышает разброс данных между экспериментами, проведенными в гетерогенизированных условиях. (рис. 1).

Рис.1 заимствован из статьи Richter, S. H., Garner, J. P., & Würbel, H. (2009). Environmental standardization: cure or cause of poor reproducibility in animal experiments? Nature Methods, 6(4), 257–261.

То, что гетерогенизация условий эксперимента повышает его воспроизводимость, подтвердил Paylor, тестировавший небольшие партии животных с интервалом в несколько недель или месяцев. Данный прием, имитирующий тестирование животных в разных лабораториях, назвали «дизайном «мини-экспериментов [8]. Этот дизайн применил Richter [2], который в каждую из 6-и временных точек (6 «мини-экспериментов») тестировал по 2 животных каждой группы (рис.2).

Рис.2 заимствован из статьи Richter, S. H., Garner, J. P., Auer, C., Kunert, J., & Würbel, H. (2010). Systematic variation improves reproducibility of animal experiments. Nature Methods, 7(3), 167–168.

В работе von Kortzfleisch с соавт. [9] для поведенческого фенотипирования мышей в каждом «мини-эксперименте» использовали по 3 животных каждой линии (рис. 3).

Рис.3 заимствован из статьи von Kortzfleisch, V.T., Karp, N.A., Palme, R. et al. (2020) Improving reproducibility in animal research by splitting the study population into several ‘mini-experiments’. Sci Rep 10, 16579

Авторы показали, что при использовании дизайна «мини-экспериментов»:

1. увеличивается информативная ценность эксперимента, не требуя для этого более крупных размеров выборки, чем традиционные планы;

2. в каждый момент времени тестируется уменьшенное количество животных; это особенно полезно для исследований на генетически модифицированных животных, поскольку необходимое количество экспериментальных субъектов рождаются не в один конкретный момент времени, а в течение нескольких недель;

3. рабочая нагрузка на экспериментатора в день резко снижается.

Таким образом, разделение одного эксперимента на несколько «мини-экспериментов» является эффективным способом повышения воспроизводимости результатов внутри одной лаборатории. И это очень важно, поскольку получение «невоспроизводимых» результатов приводит к пустой растрате животных. На этом основании Eggel и Würbel [10] предложили при оценке «пользы» и «вреда» планируемого эксперимента учитывать не только принципы «3R» («заменить, уменьшить и уточнить»), но и принципы «3V»: «конструктивная, внутренняя и внешняя валидность эксперимента» (рис. 4).

Рис.4 заимствован из статьи Eggel М. and Würbel Н. (2021). Internal consistency and compatibility of the 3Rs and 3Vs principles for project evaluation of animal research Lab Anim. 2021 Jun; 55(3): 233–243.

Повышение воспроизводимости результатов экспериментов путем гетерогенизации выборок, впервые обнаруженное в экспериментах на мышах, нашло понимание у биологов разных специальностей. Примером может служить статья в журнале Nature под «говорящим» названием: «Why 14 ecology labs teamed up to watch grass grow» («Почему 14 экологических лабораторий объединились, чтобы посмотреть, как растет трава») [6].

Литература

[1] Baker, M. (2016) 1,500 scientists lift the lid on reproducibility. Nature 533, 452–454  doi: 10.1038/533452a

[2] Richter, S. (2017) Systematic heterogenization for better reproducibility in animal experimentation. Lab Anim 46, 343–349. doi:10.1038/laban.1330

[3] Richter, S. H., Garner, J. P., & Würbel, H. (2009) Environmental standardization: cure or cause of poor reproducibility in animal experiments? Nature Methods, 6(4), 257–261. doi:10.1038/nmeth.1312

[4] Voelkl, B., & Würbel, H. (2016) Reproducibility Crisis: Are We Ignoring Reaction Norms? Trends in Pharmacological Sciences, 37(7), 509–10. doi: 10.1016/j.tips.2016.05.003

[5] Xenia Gonda, Gabor Hullam, Peter Antal e.a. (2018) Significance of risk polymorphisms for depression depends on stress exposure. Sci Rep. 2018; 8: 3946. doi:10.1038/s41598-018-22221-z

[6] Callaway, E. (2017) Why 14 ecology labs teamed up to watch grass grow. Nature, 548(7667), 271–271. doi:10.1038/548271a 

[7] Richter, S. H., Garner, J. P., Auer, C., Kunert, J., & Würbel, H. (2010) Systematic variation improves reproducibility of animal experiments. Nature Methods, 7(3), 167–168. doi:10.1038/nmeth0310-167

[8] Paylor, R. (2009) Questioning standardization in science. Nat. Methods 6, 253–254. doi:10.1038/nmeth0409-253

[9] von Kortzfleisch, V.T., Karp, N.A., Palme, R. et al. (2020) Improving reproducibility in animal research by splitting the study population into several ‘mini-experiments’. Sci Rep 10, 16579. doi: 10.1038/s41598-020-73503-4

[10] Eggel М. and Würbel Н. (2021) Internal consistency and compatibility of the 3Rs and 3Vs principles for project evaluation of animal research Lab Anim. 2021 Jun; 55(3): 233–243. doi:10.1177/0023677220968583