Серия «Психология — наука»

Идея о существовании «кризиса повторяемости» в психологии получила широкое освещение как в профессиональной, так и в популярной прессе, включая The New York Times, The Atlantic, National Review и Slate. Однако в самом научном сообществе по этому вопросу нет единого мнения. Одни исследователи полагают, что в дисциплине широко распространены нестрогие методы, ставящие под угрозу валидность результатов, – в частности, низкая статистическая мощность, отсутствие чёткого разграничения между априорной и апостериорной проверкой гипотез, а также практика p-хакинга (см., например: Pashler & Wagenmakers, 2012; Simmons et al., 2011). Другие учёные не согласны с такой характеристикой и указывают на издержки, которые, по их мнению, влечёт за собой изображение психологии как науки, находящейся в кризисе, – например, возможный сковывающий эффект подобных заявлений на молодых исследователей, чрезмерный акцент на ошибках первого рода (ложноположительные результаты) в ущерб ошибкам второго рода (ложноотрицательные результаты) и, как следствие, риск не заметить важные новые феномены (Fanelli, 2018; Fiedler et al., 2012). Есть и те, кто напоминает, что психология давно уделяет внимание совершенствованию своей методологии, и нынешнее обсуждение воспроизводимости является частью нормального развития науки. Хороший пример – анализ влияния экспериментатора в 1960‑х годах, который, в частности, стимулировал внедрение двойного слепого метода в экспериментах (Rosenthal, 1979). С этой точки зрения, нынешние опасения следует рассматривать в контексте длительной истории методологических улучшений, по мере того как психологи углубляют понимание и применение статистических и иных методов, а также совершенствуют практику отчётности.

Одним из оснований считать психологию фундаментально состоятельной наукой является тот факт, что она производит большое количество полезного и надёжного знания. Исследователи получают множество повторяемых результатов о причинах человеческих мыслей, эмоций и поведения (Shiffrin et al., 2018). Приведём лишь несколько примеров. Исследования человеческой памяти документально подтвердили ненадёжность свидетельских показаний, что привело к освобождению многих несправедливо осуждённых (Loftus, 2017). Исследования «сверхоправдания» показывают, что поощрение детей за желательные виды деятельности может подорвать их внутреннюю мотивацию к этим занятиям (Lepper и Henderlong, 2000). Исследования того, как формулируются варианты выбора, показали, что больше людей участвуют в социальных программах (например, пенсионных накоплениях или донорстве органов), если их автоматически включают в программу и предоставляют возможность отказаться (opt‑out), по сравнению с ситуацией, когда нужно принять решение о вступлении (opt‑in) (Jachimowicz et al., 2018). Всё чаще исследователи и правительства используют подобные психологические знания для решения социальных задач и проблем, в том числе для повышения эффективности образования, сокращения государственных расходов на неэффективные программы, улучшения здоровья населения и снижения стереотипов и предубеждений (Walton & Wilson, 2018; Wood & Neal, 2016).

Возможно, что наряду с этим прогрессом в психологии наблюдается более низкий уровень повторяемости, чем хотелось бы. Как отмечается на протяжении всего настоящего доклада, ни одна область науки не даёт абсолютно повторяемых результатов, однако было бы полезно оценить текущий уровень повторяемости опубликованных психологических работ и задаться вопросом, соответствует ли он тому уровню, который сама дисциплина считает необходимым. Действительно, психология оказалась на переднем крае эмпирических попыток ответить на этот вопрос с помощью крупномасштабных проектов по повторению, в рамках которых исследователи из разных лабораторий пытались воспроизвести набор исследований (см. Таблицу 5‑1 в Главе 5).

Сами по себе проекты по повторению, однако, оказались спорными, порождая широкие разногласия относительно используемых критериев оценки повторяемости и интерпретации полученных результатов. Одни усматривают в результатах этих проектов повод для тревоги. Например, в своём выступлении перед комитетом Брайан Носек отметил: «Доказательства в пользу воспроизводимости [повторяемости] не достигают того уровня, который можно было бы ожидать или желать» (Nosek, 2018). Исследователи, разделяющие эту точку зрения, приводят ряд аргументов[5].

Во‑первых, многие попытки повторения имели сопоставимый или даже более высокий уровень строгости (например, по объёму выборки, прозрачности, пререгистрации), чем оригинальные исследования, и тем не менее многие из них не смогли воспроизвести исходные результаты (Cheung et al., 2016; Ebersole et al., 2016a; Eerland et al., 2016; Hagger et al., 2016; Klein et al., 2018; O’Donnell и et al., 2018; Wagenmakers et al., 2016). Учитывая высокую степень внимания к работам по повторению (Zwaan et al., 2018), маловероятно, что большинство неудачных повторений объясняются небрежностью в проведении исследований.

Во‑вторых, некоторые попытки повторения были целенаправленно сосредоточены на результатах, которые привлекли к себе большое внимание, вошли в учебники и являются в том или ином смысле «громкими» – то есть на результатах, которые, казалось бы, должны обладать высокой устойчивостью. Часть таких повторений увенчалась успехом, но многие – нет (например, Hagger et al., 2016; O’Donnell et al., 2018; Wagenmakers et al., 2016).

В‑третьих, ряд попыток повторения носили совместный характер, при этом исследователи, тесно связанные с оригинальным результатом (например, авторы исходных работ или специалисты с большим опытом в данной области), принимали активное участие в проверке дизайна и процедуры повторного исследования (Cheung et al., 2016; Eerland et al., 2016; Hagger et al., 2016; O’Donnell и et al., 2018; Wagenmakers et al., 2016). Однако это не привело к стабильно положительным результатам повторений.

В‑четвёртых, когда для неудач при повторении предлагаются возможные объясняющие факторы, они часто носят умозрительный характер и ещё не проверены эмпирически. Например, неудачи при повторении связывают с контекстной чувствительностью и с тем, что некоторые феномены просто труднее воспроизвести в другое время и в другом месте (Van Bavel et., 2016). Однако без перспективных эмпирических проверок этого или других предлагаемых объяснений остаётся реальной возможностью то, что исходный результат в принципе не является повторяемым.

В‑пятых, даже если предположить, что существенная доля (скажем, одна треть) неудачных повторений является ложноотрицательными результатами, это всё равно приводит к выводу, что уровень повторяемости в психологии не достигает идеала. Таким образом, чтобы утверждать, что показатели повторяемости приемлемы (например, близки к 80 %), необходимо быть уверенным, что большинство неудачных повторений имеют существенные недостатки.

Однако другие исследователи придерживаются совершенно иного взгляда на результаты уже проведённых проектов по повторению и предлагают свои аргументы и доказательства. Во‑первых, в некоторых проектах были получены относительно высокие показатели повторяемости: например, Klein et al. (2014) успешно повторили 10 из 13 результатов. Во‑вторых, некоторые громкие проекты (например, Open Science Collaboration, 2015) могли занизить реальный уровень повторяемости из‑за того, что в них не были исправлены ошибки, а также были внесены изменения в процедуру повторения, которых не было в оригинальных исследованиях (см., например: Bench et al., 2017; Etz & Vandekerckhove, 2016; Gilbert et al., 2015; Van Bavel et al., 2016). Более того, выявлен ряд случаев, когда исследования не воспроизводились именно из‑за методологических изменений в повторных экспериментах, а не из‑за проблем с исходными работами; когда эти изменения устраняли, повторение проходило успешно (например, Alogna et al., 2014; Luttrell et al., 2017; Noah et al., 2018). Наконец, остаётся неизвестной обобщаемость результатов самих проектов по повторению, поскольку ни один из них не отбирал исследования для повторения случайным образом, и во многих случаях выбор был достаточно избирательным.

Нерешённым вопросом при любом анализе повторяемости остаётся то, какие именно критерии следует использовать для определения успеха или неудачи. Мета-анализ совокупности результатов может быть более перспективным инструментом для оценки повторяемости, поскольку он позволяет оценить модераторы эффектов, а также однородность результатов. Однако при небольшом числе исследований мета-анализ может не обладать достаточной статистической мощностью.

Несмотря на противоположные взгляды на интерпретацию крупномасштабных проектов по повторению, начинает формироваться консенсус в том, что называть психологию наукой, находящейся в состоянии «кризиса», не является ни полезным, ни обоснованным. Носек выразил это так в своих комментариях для комитета: «Насколько широко распространена проблема воспроизводимости результатов в науке и технике в целом? Простой ответ: мы не знаем. У нас недостаточно информации, чтобы с какой-либо уверенностью дать оценку для какой-то отдельной области или даже для науки в целом». Он добавил: «Мне не нравится термин “кризис”, потому что он подразумевает множество вещей, в которых мы не уверены».

Более того, даже если бы существовала окончательная оценка повторяемости в психологии, никто не знает, каков ожидаемый уровень неповторяемости в здоровой науке. Эмпирические результаты в психологии, как и в науке в целом, по своей природе вероятностны, а это означает, что некоторое количество неудачных повторений неизбежно. Как мы подчёркиваем на протяжении всего доклада, новаторские исследования с большой вероятностью будут давать неоднозначные результаты, поскольку они раздвигают границы знания. Амбициозные исследовательские программы, например, связывающие мозг и поведение, генетические и средовые влияния, вычислительные модели с эмпирическими данными или гормональные колебания с эмоциями, неизбежно приводят к некоторым тупикам и неудачам. Одним словом, некоторые неудачи при повторении могут отражать нормальный прогресс в науке, а также могут указывать на недостаток теоретического понимания или методологические ограничения.

Каков бы ни был масштаб проблемы, научные методы и приёмы анализа данных всегда можно улучшить, и нынешняя дискуссия продолжает давнюю традицию методологических новаций в психологии. Новые практики, такие как проверка эффективности экспериментальных манипуляций, уже стали принятыми в этой области. Заявки на гранты теперь в обязательном порядке включают анализ статистической мощности. В лонгитюдных исследованиях уже не просто констатируют отсев участников, а систематически оценивают его влияние (например, с помощью анализа по принципу «назначенного лечения» – intention‑to‑treat). В то же время не все исследователи внедрили у себя передовые практики, иногда отставая от современного уровня знаний (Sedlmeier & Gigerenzer, 1989). Лишь в последнее время учёные начинают систематически использовать расчёты мощности в исследовательских отчётах и предоставлять открытый доступ к данным и материалам. В последнее десятилетие давление на исследователей с целью улучшения практик и повышения прозрачности усилилось благодаря новым разработкам в области информационных технологий, которые расширяют доступ общественности к информации и возможности для критической оценки науки (Lupia, 2017 ? не уверен в ссылке).

К сожалению, пару исследований не смог добавить, они не на поверхности лежат. Некоторые ссылки оформлены не через doi, а ведут напрямую на сайт журнала, это связано с тем, что псайнет апа я в рот ебал с их ограничениями. При необходимости (по первому запросу) составлю библиографию. Хотя сильно сомневаюсь, что кому-то это надо.

Не забывайте переходить в телегу или, прости хоспаде, мах. Сам уже устал ВПН туда-сюда подрубать, поэтому буду дублировать всякое туда.

Сразу же выражу своё отношение к Карлу Попперу. Это весьма тенденциозная (в значении "предвзятая") фигура. Идеологически мы оказались бы по разные стороны баррикад.

Однако отрицать огромнейшее влияние Поппера на науку и общество, отрицать положительный его вклад... ну не получается. Да и контпродуктивно это. Я считаю, что не нужно ни замалчивать идеи Поппера, ни отмахиваться от них. Работы Поппера нужно читать: полезное — обобществлять, вредное — разоблачать.

Чтением Поппера мы и займёмся.

У Поппера не так много работ, но они довольно тяжёлые для полного понимания. Не скажу, что хорошо разобрался в критическом рационализме; есть большое количество специалистов (в том числе переводивших и писавших комментарии к работам Поппера), которые разбираются качественно лучше.

Однако, по моему мнению, даже поверхностного ознакомления с ключевыми публикациями достаточно, чтобы не нести хуйню в интернете.

С места в карьер: фальсифицируемость имеет градации:

Каждая настоящая проверка теории является попыткой ее фальсифицировать, то есть опровергнуть. Проверяемость есть фальсифицируемость; при этом существуют степени проверяемости: одни теории более проверяемы, в большей степени (69:) опровержимы, чем другие; такие теории подвержены, так сказать, большему риску.

В работе "Предположения и опровержения. Рост научного знания" Поппер рассуждает о критерии демаркации и делится личными наблюдениями. Дело в том, что Попперу, будучи уроженцем Вены, довелось поработать непосредственно с Альфредом Адлером — основателем соответствующей школы.

Я лично познакомился с Адлером и даже помогал ему в его работе среди детей и юношей в рабочих районах Вены, где он основал клиники социальной адаптации.

Поппер увлекался марксизмом, фрейдизмом и адлеровской психологией:

После крушения Австро-Венгрии в Австрии господствовал дух революции: воздух был полон революционных идей и лозунгов, новых и часто фантастических теорий. Среди интересовавших меня в ту пору теорий наиболее значительной была, без сомнения, теория относительности Эйнштейна. К ним же следует отнести теорию истории Маркса, психоанализ Фрейда и так называемую «индивидуальную психологию» Альфреда Адлера.

Однако разочаровался в них, ибо обнаружил, что все они обладают одной довольно странной чертой. И здесь я хочу, чтобы вы заострили своё внимание, именно здесь проявляется гений Поппера. Там, где многие видели фичу, Поппер обнаружил баг.

Я обнаружил, что те из моих друзей, которые были поклонниками Маркса, Фрейда и Адлера, находились под впечатлением некоторых моментов, общих для этих теорий, в частности, под впечатлением их явной объяснительной силы. Казалось (66:), эти теории способны объяснить практически все, что происходило в той области, которую они описывали.
...
И как раз этот факт — что они со всем справлялись и всегда находили подтверждение — в глазах их приверженцев является наиболее сильным аргументом в пользу этих теорий. Однако у меня зародилось подозрение относительно того, а не является ли это выражением не силы, а наоборот, слабости этих теорий?

Дело в том, что в тогдашней науке преобладала идея верификационизма, то есть научным считается то суждение, которое можно проверить экспериментально. Поппер же настаивал на том, что данный критерий хоть и может свидетельствовать об истинности, но не помогает при решении проблемы демаркации.

Эту свою мысль Поппер объясняет в самом начале, где говорит, что из истинности не выводится научность, ибо как наука даёт ложные выводы, так и не-наука может давать истинные:

В то время меня интересовал не вопрос о том, «когда теория истинна?», и не вопрос: «когда теория приемлема?» Я поставил перед собой другую проблему. Я хотел провести различие между наукой и псевдонаукой, прекрасно зная, что наука часто ошибается и что псевдонаука может случайно натолкнуться на истину.

Поппер последовательно критиковал индукцию, то есть способ познания через накопление подтверждений, путь от частного к общему за его уроборосность.

Интерес к проблеме индукции возник у меня в 1923 году. Хотя эта проблема весьма тесно связана с проблемой демаркации, в течение пяти лет я не вполне осознавал эту связь. (77:) К проблеме индукции я пришел благодаря Юму. Мне представляется, что Юм был совершенно прав, указывая на то, что индукцию нельзя оправдать логически.

...

Другими словами, попытка оправдать процедуру индукции путем апелляции к опыту ведет к регрессу в бесконечность. В итоге мы можем сказать, что теории никогда не выводятся из высказываний наблюдения и не могут быть рационально оправданы с их помощью.

И хотя сторонники классического эмпиризма и логического позитивизма не утверждали, что универсальные высказывания вида "Все лебеди белые" можно доказать или полностью верифицировать на конечном числе наблюдений, кое в чём с Поппером они расходились.

Да, представители этих направлений хорошо осознавали проблему индукции (они тоже Юма читали) и понимали, что сколь бы большое число подтверждающих случаев ни было обнаружено, это не гарантирует истинности общего закона.

Потому вместо "доказательства" позитивисты говорили о подтверждении или о повышении степени вероятности гипотезы на основе эмпирических данных. Кроме того, принцип верификации изначально задумывался как критерий осмысленности (значения), а не истинности высказывания: суждение считалось научным, если принципиально возможно указать условия его эмпирической проверки.

Однако Поппер показал (на хрестоматийном примере с лебедями) логическую асимметрию между верификацией и фальсификацией. Никакое число наблюдений белых лебедей не может логически доказать универсальный закон. Но одно наблюдение чёрного лебедя способно его опровергнуть.

Кроме того, Карнап нигде не пытается доказать, что введенное подтверждение примера адекватно или хотя бы непротиворечиво (что не так, см. прим. 68 выше). Он не показывает, например, что каждый опровергнутый закон получает более низкую степень подтверждения, чем закон, выдержавший проверки.

То, что даже столь минимальное требование не может быть выполнено, нетрудно показать с помощью примера самого Карнапа — закона «Все лебеди белы». Этот закон следует считать фальсифицированным, если наше свидетельство состоит из одного черного и, скажем, 1000 белых лебедей. Однако при таком свидетельстве подтверждение примера не будет равно 0, а будет близко к 1.

Вместе с этим Поппер критикует верификационизм ещё и за то, что он считает ненаучными научные (по критерию Поппера) суждения:

Такой ответ меня не удовлетворяет (поскольку я считаю, что у меня есть критерий, который исключает астрологию, например, и доказал свою чрезвычайную плодотворность при рассмотрении множества проблем), однако, как и прежде, я готов ограничиться доказательством того, что этот критерий приводит к ошибочной демаркации.

В своей критике верификационного критерия я всегда утверждал: вопреки намерениям его защитников, он не исключает явно метафизических утверждений, однако исключает наиболее важные и интересные научные утверждения, а именно, научные теории и универсальные законы природы

Попробуем к текущему моменту суммировать:

• Поппер не рассматривал фальсифицируемость как критерий истинности, осмысленности или чего-то подобного. Для него этот принцип необходим для того, чтобы отделять научное суждение от ненаучного.

• При этом ни научное суждение не является по умолчанию истинным, ни не-научное суждение не является по умолчанию ложным.

• Принцип верифицируемости (накопление доказательств), с точки зрения Поппера, не подходит в качестве критерия научности и ограничен в измерении осмысленности или истинности.

• Претензия к фрейдизму и адлерианству у Поппера проходит по линии фальсифицируемости, то есть данные модели не генерируют гипотезы, которые могут привести к опровержению. Поппер не отрицал, что эти модели могут генерировать истинные суждения, которые будут соответствовать принципу верифицируемости.

У Поппера была и критика бихевиоризма как научного подхода. Вместе с этим он критиковал эссенциализм, инструментализм и т.д. и т.п.

Параллельной операционализму и тесно связанной с ним является доктрина бихевиоризма, то есть учение о том, что, поскольку все проверяемые высказывания описывают поведение, постольку все наши теории должны формулироваться в терминах, относящихся к поведению. Однако этот вывод неверен, как неверен аналогичный вывод феноменализма, утверждающий, что поскольку все проверяемые высказывания являются высказываниями наблюдения, постольку теории так же должны формулироваться в терминах возможных наблюдений. Все эти концепции представляют собой различные формы верификационистской теории значения, то есть индуктивизма.

Отдельного внимания заслуживает критика бихевиоризма. Ведь часто можно услышать, что Поппер критиковал бихевиоризм. Предлагаю вашему вниманию отрывок такой критики:

...тезис физикализма, согласно которому существует лишь один унифицированный язык, говорящий о физических телах и их движении в пространстве и времени. В этом языке можно было выразить или перевести в него все, в том числе и психологию — в той мере, в которой она была научной. Психология стала в высшей степени бихевиористской: каждое осмысленное утверждение психологии, не важно, о человеке или о животных, следовало переводить в утверждение о пространственно-временных движениях физических тел.

...

Поэтому нет необходимости вдаваться в достоинства или недостатки философии бихевиоризма или тезиса о переводимости (который, на мой взгляд, есть не что иное, как материалистическая метафизика в лингвистическом облачении, а я предпочитаю встречаться с ней без этого облачения): мы видим, что для уничтожения метафизики эта философия не очень пригодна. Как обычно, антиметафизическая метла выметает и слишком много, и в то же время слишком мало. В результате мы получаем неряшливую и неприемлемую демаркацию.

То есть критика Поппера направлена на требование сводить все осмысленные утверждения к языку физических тел, протокольным предложениям или наблюдаемому поведению, исключая ментальные состояния, интенциональность и теоретические конструкты.

И оно понятно. Поппер и сам не раз подчёркивал, что своей задачей видит не отрицание ценности конкретных научных теорий, а выявление логических и методологических условий внутри философии науки, при которых знание способно расти.

Просто задумайтесь на тему того, зачем нам отличать науку от псевдонауки при условии, что все они дают некоторое знание? Подлинная цель науки по Попперу заключается в конструировании теорий с максимальным информационным содержанием, с высокой объяснительной силой и способностью выдерживать жёсткие эмпирические испытания.

И под содержанием здесь имеется ввиду логическое содержание, то есть новая теория должна запрещать (быть ложна) в большем количестве возможных состояний мира. Должна делать более рискованные предсказания и охватывать более широкий класс явлений.

Телега