Сообщество - Доказательная психология!

Доказательная психология!

30 постов 10 подписчиков

Популярные теги в сообществе:

3

Насколько различны мужчины и женщины и как это выяснить?

Серия Отношач

Карикатурные сравнения мужчин и женщин грешат либо полным отрицанием сходств, либо полным отрицанием различий. Никто в науке всерьёз не говорит о том, что мы тождественны или полностью несовместимы. Основное поле боя: размер эффектов и то, как разницу оценивать.

Публикация навеяна постами хлебушков.


Разговор о том, различны мужчины и женщины или нет ведётся давно, основной позицией является то, что мужчины и женщины различны. В процессе исследований (а их дохуятнадцать, то есть примерно больше 90 тысяч, из которых 750+ штук — мета-анализы) находили как малые и средние эффекты, так и большие.

И исходя из того, что доминирующей позицией является "мужчины и женщины сильно различны" в 2005-м году гражданка Хайд публикует статью (её изложение мы опубликовали на сайте: "Гипотеза гендерного сходства: исследование Hyde (2005)"), где анализирует данные и предлагает гипотезу гендерного сходства. В этой статье она на материале 124 эффектов из 46 мета-анализов показывает, что 78% эффектов оказались близкими к нулю или малыми (30% и 48% соответственно).

В ответ на публикацию Хайд и её гипотезу гендерного сходства некий итальянский гражданин по фамилии Дель Джудиче опубликовал методологическую статью (разбор, которой тоже есть у нас: "Расстояние Махаланобиса против среднего d: Del Giudice et al. 2012"), в которой подверг критике то, как Хайд оценивала разницу между мужчинами и женщинами.

Джудиче привёл аналогию: расстояние между городом А и городом Б не равно среднему по широте, долготе и высоте, оно равно евклидову расстоянию, которое оказывается почти вдвое больше, чем наивное усреднение.

Джудиче предлагает сравнивать не по отдельным эффектам, а агрегировать их в многомерный показатель, реализацией которого является расстояние Махаланобиса. И оценка гендерных различий через подобный агрегированный показатель значительно отличается от среднего по отдельным эффектам: D = 2.71, что соответствует всего 10% пересечения между распределениями мужчин и женщин.

Зелл и коллеги в 2015-м году (статья на сайте) перепроверили эффекты: взяли 386 эффектов, 106 независимых мета-анализов и совокупную выборку свыше 12 миллионов человек. Средняя абсолютная разница между мужчинами и женщинами по всем 106 мета-анализам составляет d = 0.21, что по конвенции Коэна попадает в категорию малых эффектов и соответствует примерно 84% пересечению распределений.

Это почти те же цифры, что у и Хайд, но методология у Зелл намного строже, а данные получены и обработаны принципиально другим способом. То есть то, что обнаружила Хайд, видимо, действительно есть: разница в отдельных эффектах между мужчинами и женщинами мала.

Однако малость среднего не означает стабильность частного. Оказалось, что эффекты, вошедшие в мета-анализы, статистически гетерогенны. Другим словами, в одном исследовании мужчины были агрессивнее женщин, а в другом — наоборот.

Зелл и коллеги согласны с Джудиче в том, что типичное различие по отдельно взятой переменной мало что говорит о совокупном различии.

И основным своим вкладом считают подтверждение гипотезы о том, что межиндвидуальные различия сильнее и крупнее средних межполовых.

Наконец, конкретное объяснение того, почему в исследованиях мужчины и женщины слабо отличаются по отдельным эффектам, но сильно отличаются по совокупности, дали довольно именитые исследователи Элис Игли и Уильям Ревелл.

Охуеть, но об этом тоже есть статья на сайте: "Почему гендерные различия то малы, то велики: Eagly and Revelle (2022)"

Если коротко, то авторы предлагают объяснение через методологию сбора и анализа данных, которое не требует ответа на вопрос "кто прав?". Они говорят, что большая часть разрыва между их собственным выводом об агрегации и разницей между числами Хайд/Зелл и Арчера объясняется даже не логикой агрегации, а произволом в решениях о том, какие мета-анализы включать в обзор.

Также они показывают, что увеличение разницы при переходе от отдельных эффектов к многомерным — вполне закономерный паттерн. Даже те методики, которые не предназначены для поиска различий между полами, дают рост разницы при переходе от одиночных эффектов к агрегированным данным.

Даже больше: практически всегда агрегированные данные значительно больше, чем одиночные эффекты. Авторы проверили это на крупнейших одиночных эффектах: тому, какова разница в профессиях.

Есть наблюдение, которое гласит, что мужчины тяготеют к работе с вещами, а женщины — с людьми. Эта разница — одна из крупнейших в межполовых сравнениях: 0.93 и 1.01, — и даже этот эффект оказывается меньше многомерного D.


Если подытожить, то даже научные изыскатели не вполне понимают, как ответить на вопрос "какова разница между мужчинами и женщинами?". Многие исследователи склоняются к тому, что сам по себе вопрос сформулирован неправильно. А на неправильный вопрос любой ответ — неправильный.

Мы гарантированно знаем, что:

  1. По одиночным эффектам разница между мужчинами и женщинами в основном мала.

  2. По совокупным оценкам разница между мужчинами и женщинами велика.

  3. Межполовая разница практически всегда меньше, чем разница между индивидами.

В принципе, мы можем сказать, что "в Х мужчины и женщины схожи" (то есть надо брать конкретное сравнение и смотреть на него), но это не означает, что мы схожи в принципе, вообще.

Предсказательная сила некоторых отдельных эффектов велика, а агрегированные данные подобным похвастаться не могут.

К счастью, то, что мы разные не является основанием для негативного отношения друг к другу. К сожалению, нередко именно различия выступают поводом не только негативно относить к противоположному (или своему) полу, но и выражать негатив дискриминацией в профессиях и отношениях.


ТГМАХъДонут

Показать полностью
11

Разница в либидо мужчин и женщин

Серия Отношач

"Мужчинам секс нужен больше, чем женщинам" — одно из самых устойчивых бытовых убеждений о различии полов.

Оно кажется самоочевидным: подтверждается наблюдением, подтверждается статистикой потребления порнографии, подтверждается тем, как устроены ухаживание и брак почти во всех известных культурах.

Проблема в том, что почти на каждом шаге, где это убеждение опирается на данные, есть отдельный, независимо задокументированный источник искажения, и эти источники разной природы, решают разные задачи и не сводятся друг к другу.


Самой цитируемой количественной сводкой является мета-анализ Petersen & Hyde (2010). В ней авторы обнаружили крупнейшую разницу по частоте мастурбации, заметную разницу по частоте фантазий, потреблению соответствующего контента, отношению к каузальному сексу и желаемому числу партнёров.

Есть кросс-культурная проверка на выборке около 53 стран в исследовании Lippa (2009). Там практически везде воспроизводится разница в самоотчётах, разница эта слабо коррелирует с индексами гендерного равенства в стране.

Это аргумент против объяснения разницы одной лишь культурой конкретного общества, но не доказательство биологической природы. Корреляционные данные между странами такого доказать не могут в принципе.

Есть и довольно свежий мета-анализ Frankenbach et al. (2022): крупнейший на сегодня мета-анализ, включивший 211 исследований, 856 эффектов и 610 тысяч голов в качестве испытуемых, который показал необработанный эффект g~0.69.

Если вы полезете проверять самостоятельно или попросите проверить нейронку, то неминуемо наткнётесь на то, что "ну это доказано, никаких сомнений".

Какие вообще могут быть вопросы? Вот устойчивый, воспроизводимый, кросс-культурный факт среднего-крупного размера. Об чём вообще речь?

Артефакты

Оказывается, если добавить в опрос детектор лжи, то сказка рушится. Дело даже не в том, что мы видим ложь испытуемых, а в том, что люди просто начинают давать более искренние ответы.

Alexander & Fisher (2003) продемонстрировали, что если давать одну и ту же анкету о сексуальном поведении в трёх разных условиях — 1) под угрозой, что экспериментатор увидит ответы; 2) анонимно; 3) и с "детектором лжи" — то люди отвечают по-разному.

Разница между полами была наибольшей под угрозой, что экспериментатор увидит ответы, средней в условиях анонимности и практически исчезала, если людей пугали детектором лжи — причём эффект был сильнее всего именно там, где действуют двойные стандарты (солоублажение и прон — то, в чём сознаваться менее социально приемлемо женщине, чем мужчине)

То есть мы видим, что часть измеренных различий — не разница в желании, а разница в готовности признать желание.

Вторым типом артефактов является проблема определения и измерения конструкта.

В исследовании Conley & Yang (2024) (это прямая полемика с Frankenbach) указано, что большинство исследований определяют секс как penile-vaginal intercourse, что как бы смещает измерение в сторону мужского опыта и потенциально хуже отражает то, что происходит у женщин.

Нужны вам отношения с партнёром? А если партнёр вас будет бить и унижать? Такие — не нужны. И мы знаем, что негативный опыт сказывается на желании.

Мужчины тоже начинают это чувствовать, я всё чаще слышу, что "женщины стали хреновые, руки опускаются, искать отношения желания нет".

Третий тип артефактов проще проиллюстрировать на аналогии средней температуры по больнице. Если в больнице с моргом равное количество мужчин и женщин, но по какой-то причине женщин в морге больше, то средняя температура по группе женщин окажется ниже.

Это не означает, что живые и здоровые женщины холоднее живых и здоровых мужчин. Просто групповое среднее — смесь подгрупп с разной причинной историей.

В исследовании Conley & Yang описано, что если часть женской выборки несёт опыт, системно снижающий желание (например, насилие или неудовлетворяющие партнёры), а у мужчин доля такого опыта меньше или его влияние на желание слабее, то среднее по группе будет "заражено" вкладом этой подгруппы.

Но с моргом всё очевидно: жив или мёртв, а с желанием всё гораздо сложнее. У желания такой границы нет. К тому же, причинность может идти в обе стороны: низкое желание может быть причиной худшего секса, а не только его следствием.

Так, это, вроде, четвёртый тип: попытка вычесть искажения. В исследовании Frankenbach была попытка статистически скорректировать эффект на предвзятость ответов (первый пункт), которая снизила разницу (с g=0.69 до 0.54). Разница не исчезла, но заметно снизилась именно за счёт того типа артефакта, который поддаётся прямой коррекции.

Conley & Yang в ответ указали на пункты 2 и 3, которые статистическая коррекция Frankenbach не затрагивает вообще, ибо они не связаны с искажением ответа, а связаны с тем, у кого и что вообще измеряется.

В том же 2024-м году Frankenbach с соавторами ответили на комментарий, в котором частично согласились, что асимметрия качества сексуального опыта может частично объяснять разрыв, но не согласились, что это устраняет эффект полностью, и защитили устойчивость своей меры к проверенным модераторам.

Короче, даже лучшая доступная сегодня оценка эффекта — это оценка, из которой вычтен только один из трёх известных источников искажения. Величина оставшегося эффекта после потенциального учёта пунктов — открытый вопрос, ответа с высокой уверенностью нет.


Масштаб всей хуйни

Даже необработанный g=0.69 означает по определению самой метрики, что межгрупповой сдвиг средних меньше, чем внутригрупповой разброс. В грубом приближении через нормальное распределение: вероятность, что случайно взятый мужчина покажет более высокий балл, чем случайно взятая женщина — около 69% против 50% при отсутствии разницы; около 25% женщин превышают среднего мужчину; перекрытие распределений — около 73%.

При скорректированном g=0.54 цифры смещаются в сторону ещё большего перекрытия.

Тот же паттерн наблюдался аж 20 лет назад в исследовании Хайда для десятков других психологических измерений: групповые различия почти везде малы-средни относительно внутригруппового разброса.


Физиологические данные (например, в работах Мередит Чиверс) с генитальной плетизмографией показывает, что у женщин корреляция между субъективным набуханием и генитальным откликом ниже, чем у мужчин. Плюс, генитальный отклик у женщин менее специфичен по объекту стимула.

Это с высокой долей вероятности означает, что связь между телом и осознаваемым желанием у женщин устроена иначе и менее интроспективно доступна. Про модель ответного и спонтанного желания уже писал.


Пора бежать. В следующей публикации расскажу о двух источниках, откуда есть пошла кулстори про то, что женщинам нужно меньше.


Подписывайтесь на ТГ: пишите вопросы, давайте ответы. Прости_хоспаде мах

Донут

Показать полностью
6

Все ли зависимы от ПАВ? Мыши и дофамин

Серия Дофамин и все-все-все

Внатуре нейросаенс... прошу прощения...

В Nature Neuroscience вышла работа, в которой отследили дофаминовые сигналы в прилежащем ядре мышей в реальном времени, пока те делали выбор между жирной пищей и оптогенетической и кокаиновой стимуляцией дофаминовых нейронов.

Нельзя сказать, что мы совершенно точно установили, что индивидуальные различия не сводятся к внешним условиям, но, видимо, так оно и есть. Генетически однородные мыши в одинаковых условиях* демонстрируют устойчивые различия в выборе.

И эти различия предсказываются дофаминовым ответом на предваряющие сигналы. То есть субъективная оценка формируется на уровне ассоциативного обучения, а не на уровне свойств самого вознаграждения. Ибо различий в дофаминовом ответе на калорийность пищи или силы стимула не обнаружено.

Важно и то, что дофамин после вознаграждения не предсказывает поведение, а вот реакция на сигнал перед вознаграждением — предсказывает. Это различие демонстрирует, что между этапами переработки информации есть разница в том, как формируется предпочтение.

Наконец, система остаётся пластичной, но не у всех. Изменение силы награды или введение наказания пересчитывает дофаминовый ответ у большинства, но у части особей этого не происходит.

Также, мыши, выбиравшие слабую оптогенетическую стимуляцию, охотнее переходили на кокаин, чем мыши, выбиравшие натуральные награды. Несмотря на то, что зависимости могут существовать независимо (зависимости независимо, лол) индивидуальная склонность к переоценке искусственных стимулов, видимо, не ограничивается конкретным веществом и может воспроизводиться при замене награды.

Источник

Pascoli, V., Python, L., Hiver, A. et al. Conditioned accumbal dopamine transients forecast individual preference for drug versus natural rewards and compulsive behavior. Nat Neurosci (2026). https://doi.org/10.1038/s41593-026-02331-y


Задавайте вопросы здесь, в ТГ и, прости_хоспаде махе (я там чат прикрутил)

Показать полностью
9

Юбка и риски, или почему Ириске носить юбку запрещали

Очередная волна поутихла. Врываюсь.

Вопросы вины и риска находятся на разных осях и практически не пересекаются.

Есть искушение выстроить рассуждение как лестницу, где от ступеньки "надела короткую юбку" до ступеньки "сама виновата" выложен очевидный и вовсе не шизовый маршрут, но нипалучаеца.

Риск

Риск — это групповое и статистическое понятие. Вот у нас есть группа людей, обладающих признаком Х и мы видим, что с этой группой людей событие Y происходит в 10% случаев. Вот у нас группа людей без признака Х, с которыми событие Y происходит в 5% случаев.

Тогда говорят, что риск (относительный) события Y для группы Х в два раза больше, чем для группы не-Х. Или говорят, что риск (абсолютный) события Y для группы Х составляет 10%.

Как видно, относительный риск легко может создать ложное ощущение пиздеца / нормальности там, где абсолютный риск говори об обратном. Например, в октябре 1995 года британский регулятор (Committee on Safety of Medicines) разослал предупреждение о том, что оральные контрацептивы третьего поколения повышают риск венозной тромбоэмболии примерно вдвое по сравнению с более старыми препаратами.

Женщины массово и панически бросали приём — и использование препаратов третьего поколения упало с 53% до 14% за три года. Однако абсолютный риск, связанный с препаратами, составлял 0,015% и 0,025% соответственно. То есть технически рост действительно почти в два раза, но на практике (в клинике) эти цифры неотличимы.


Причинный вклад

Вопрос "повышает ли фактор Х вероятность нападения?" — это вопрос эмпирический, и на него нельзя отвечать интуитивно. Здесь всплывают сразу две вещи, без которых обсуждение превращается в обмен претензиями.

Контролируемость

Риск, связанный со страной или районом рождения, задан извне — повлиять на него нельзя, и совет здесь бессмыслен: можно говорить только о структурных мерах вроде повышения эффективности работы полиции, освещения тёмных переулков и т.д. Риск, связанный с маршрутом, временем выхода из дома, — контролируемый, и только применительно к нему разговор о неких советах вообще имеет предмет.

Реальные причины

В литературе вопрос одежды и сексуального насилия распадается на два корпуса, который затем одним мякишем мигрируют прямо в головы граждан.

Первый корпус связан с исследованиями атрибуции вины. То есть в этой литературе описаны не реальные мотивы и причины выбора насильниками жертв, а мнение сторонних наблюдателей по вопросу того, что же они считают причиной случившегося насилия.

И в таких опросах (например, Cassidy & Hurrell, 1995) действительно регулярно участники, видевшие фотографию жертвы в "провокационной" одежде, чаще считали её ответственной за произошедшее и реже признавали случившееся изнасилованием (Lennon et al., 2019). Это Пикабу, поэтому повторю ещё раз: это исследования восприятия задним числом, они ничего не говорят о фактической вероятности нападения, они показывают то, как формируется вина в голове наблюдателя.

Второй корпус связан с попытками определить, а что же реально движет нападающими. Таких исследований мало, в большей степени это опросы самих нападавших, в которых они могут врать о том, что жертва сама их спровоцировала. И многие так и говорят. Однако с их же слов получается, что нападающий — расчётливый агент, который выбирает жертву прежде всего по признаку воспринимаемой уязвимости, а не по фасону одежды.

Возможно, что байка с одеждой вообще пошла из статистики. Представительницы древних профессий и дамы, которые (кстати, могут объективно выглядеть плохо, но) считают свой внешний вид сексуальным, чаще сталкиваются с насилием, ибо чаще оказываются в местах и ситуациях, когда могут отказаться жертвой насилия. Если каждый вечер такой дамы проходит в баре, куда она ходит в вызывающих нарядах, то вероятность растёт не просто от наряда или места, а от количества ночей (Synovitz & Byrne, 1998).

Обзор литературы по охоте сексуальных преступников показывает, что нападающие ориентируются на доступность и поведенческие сигналы. Под доступностью имеется ввиду то, может ли нападающий совершить нападение: как близко он находится к жертве, в каком месте они находятся. Также преступник оценивает походку и уверенность.

То есть исследования говорят, что значение имеют возможность, уязвимость и наличие защитников (свидетелей, людей, которые могут прийти на помощь).

Прямого контролируемого исследования, которое бы отделило вклад одежды от других переменных вроде времени суток, района, алкоголя или изоляции и измеряло бы именно частоту нападения, а не постфактум-атрибуцию вины, найти лично мне не удалось.

Риск-менеджмент

Здесь речь идёт о палке с двумя концами. Есть риск попасть в аварию за рулём, но автомобиль даёт скорость, комфорт и грузоподъемность. И вопрос о том, оправдан ли риск, распадается на два.

Оправдан ли риск лично для меня — и это решает сам человек, это законное поле его индивидуального выбора. И кто отвечает, если риск реализовался — а это вообще не статистический вопрос. Тот факт, что кто-то посчитал риск приемлемым, не означает, что вина на нём. Вина распределяется по агентности: в насилии виноват насильник.

Виновность

Вина — не результат статистики. Конкретное действие совершил конкретный агент с определённым умыслом. Причинный вклад жертвы в возникновение ситуации не размывает вину преступника потому, что виновность определяется контролем над решением причинить вред, а этот контроль всегда полностью у агрессора, независимо от того, насколько высоким статистически был риск, в который вошла (вольно или невольно) жертва.


Итог

Спор не касается фактов. По большинству фактов противоборствующие стороны, в общем, могли бы согласиться. Юбка статистически может быть связана с чем-то, но вина за нападение всегда полностью за нападавшим.

Спор возникает из-за того, что совершаются нелегитимные переносы между риском и ответственностью. Один лагерь использует статистику как аргумент в пользу того, что на жертве есть часть вины (которая может быть связана не с нападением, а (!) "виктимным поведением"). Другой лагерь отрицает статистику и риски, лишь бы не дать оппонентам повода повиктимблеймичать.


Любите друг друга. Но по согласию!

Не забывайте подписываться на телегу и, прости_господи, мах.

Показать полностью
8

Гипергамия: раньше и сейчас

Серия Раньше и сейчас

UPD:

Пост перенесён из серии "Отношач" в серию "Раньше и сейчас"

В конце XIX века финский антрополог Эдвард Вестермарк ввёл термин "гипергамия" для описания институционального правила в кастовых и сословных обществах, где женщина выходит замуж за мужчину более высокого социального ранга. Так были устроены система родства и наследования.

В индийской кастовой системе это буквально писаное, обычное право.

В 80-х и нулевых эволюционная психология переняла слово и переопределила его как черту индивидуальной психологии женщины. Основным источником, на который все ссылаются, является "кросс-культурное" исследование Дэвида Басса (Buss, 1989).

"Кросс-культурное" я беру в кавычки, ибо исследование, в котором основная масса опрошенных — это белые, западные, городские, образованные и с высоким доходом люди, а деление на культурные группы осуществлено только в некоторых странах (например, ЮАР) и без последовательно применённого критерия культурной единицы по всему массиву и без унифицированного метода набора участников... Ну это моветон. Нельзя в выборку из десяти тысяч человек взять двух с половиной индусов и назвать исследование кросс-культурным.

Энивей. В исследовании женщины в среднем (!) оценивали финансовые перспективы и амбициозность / трудолюбие партнёра как более важные качества, чем мужчины. Конечно же автор пытались подтвердить гипотезу родительского вклада: женщина несёт более высокие репродуктивные издержки, поэтому эволюционно склонны оценивать способность партнёра обеспечивать ресурсами.

Дэвид Басс с коллегами замерили заявленные предпочтения, а не фактически сделанный выбор, но трактовали результаты как подтверждение гипергамии.

Разрыв между заявленным предпочтением и реальным поведением при выборе — систематическая проблема во всей этой литературе, и Басс её не решает, потому что не пытался: это не поведенческое исследование. Кроме того, различие по полу — умеренное смещение среднего значения по шкале важности, не абсолютный порог или бинарное разделение. Из такого исследования никак не следует прогноз о том, что требования будут расти со временем или реагировать на появление новой технологии знакомств — оно вообще ничего не говорит про динамику, это срез 1989 года.

Однако у нас есть конкурирующее объяснение, не эволюционное. И даже есть данные, которые показываю снижение гипергамии по фактическому выбору: это касается разницы в уровне образования и разницы в доходах (Easteve et al, 2016). И это объяснение не требует от нас предполагать, что изменившийся фактический выбор связан с изменениями в предпочтениях. Потому что гипергамия в таких моделях является следствием структуры брачного рынка и снижается при перестройке этого брачного рынка.

Более того, доля пар, где жена образованнее мужа (гипогамия — обратный паттерн), устойчиво растёт почти повсеместно.


Однако выше мы говорили об академическом понимании гипергамии. В интернетах и сообществах термин используется несколько иначе. Он не только вышел за пределы своего родоначальника, но ещё и добавил идеологическую нагрузку, которой не было Ни у Вестермарка, ни у Басса.

К сожалению, в бытовом употреблении термин перестаёт быть операционализируемой переменной и превращается в объяснение-заглушку, которое приклеивается постфактум к любому отказу женщины. Типичная ситуация для бытового термина: неизмеримая величина, вводимая для объяснения уже известного исхода, а не для предсказания нового.

В лучшем случае этот термин будет опираться на исследования соотношения лайков в дейтинг-приложениях. Но об этом в следующей серии.


Оказалось, что на мобиле серии постов не отображаются. Напоминаю, что это — пост из серии "Отношач". Немного навигации:

  1. Нам нравятся красивые люди — пост о том, что не только мужчины ценят в партнёре красоту и не только для мужчин она важна.

  2. Реальное и идеальное в отношениях — удовлетворённость в отношениях лучше предсказывает соответствие партнёра нормативно желательным чертам, чем ваши заявленные предпочтения.

  3. Спонтанное и ответное шрексуальное желание — немного о том, что сексуальное желание бывает спонтанным, а бывает ответным.

  4. Браки, разводы и причуды статистики про 80% — похоронил и уничтожил, низверг, закопал и потоптался на могиле россказней про 80% распадающихся браков.

  5. Непереносимость отношача — продолжение истории о том, что непереносимость неопределённости является важным источником тревоги.

  6. Права в отношениях. Или же правила — в большей степени ответ, но здесь я популярно объясняю, почему права и обязанности в отношениях чаще все оказывают обыкновенным давлением, от которого любому человеку хочется сбежать, даже если предложение партнёра конструктивно.

Не забывайте подписываться на телегу и, прости_господи, мах.

Показать полностью
6

Научность психологии. Кризис воспроизводимости, или "А был ли мальчик?"

Публикую перевод отрывка из отчёта NASEM "Reproducibility and Replicability in Science" (2019) о положении психологической науки в вопросе воспроизводимости. Это показательный документ, наиболее важной частью которого (в контексте публикации на Пикабу и обитающих здесь граждан) считаю пункт о неоспоримой пользе психологического знания.

Пока люди, занимающиеся психологической наукой, за скромные копейки делают мир вокруг себя лучше, полоумные неучи продолжают с пеной у рта отстаивать тезисы о ненаучном статусе психологии, называть психологию индустрией обмана и оценивать необходимость добычи психологического знания по результатам жизнедеятельности шарлатанов (и шарлатанок).

Итак, страница 150. Психология.


Идея о существовании «кризиса повторяемости» в психологии получила широкое освещение как в профессиональной, так и в популярной прессе, включая The New York Times, The Atlantic, National Review и Slate. Однако в самом научном сообществе по этому вопросу нет единого мнения. Одни исследователи полагают, что в дисциплине широко распространены нестрогие методы, ставящие под угрозу валидность результатов, – в частности, низкая статистическая мощность, отсутствие чёткого разграничения между априорной и апостериорной проверкой гипотез, а также практика p-хакинга (см., например: Pashler & Wagenmakers, 2012; Simmons et al., 2011). Другие учёные не согласны с такой характеристикой и указывают на издержки, которые, по их мнению, влечёт за собой изображение психологии как науки, находящейся в кризисе, – например, возможный сковывающий эффект подобных заявлений на молодых исследователей, чрезмерный акцент на ошибках первого рода (ложноположительные результаты) в ущерб ошибкам второго рода (ложноотрицательные результаты) и, как следствие, риск не заметить важные новые феномены (Fanelli, 2018; Fiedler et al., 2012). Есть и те, кто напоминает, что психология давно уделяет внимание совершенствованию своей методологии, и нынешнее обсуждение воспроизводимости является частью нормального развития науки. Хороший пример – анализ влияния экспериментатора в 1960‑х годах, который, в частности, стимулировал внедрение двойного слепого метода в экспериментах (Rosenthal, 1979). С этой точки зрения, нынешние опасения следует рассматривать в контексте длительной истории методологических улучшений, по мере того как психологи углубляют понимание и применение статистических и иных методов, а также совершенствуют практику отчётности.

Одним из оснований считать психологию фундаментально состоятельной наукой является тот факт, что она производит большое количество полезного и надёжного знания. Исследователи получают множество повторяемых результатов о причинах человеческих мыслей, эмоций и поведения (Shiffrin et al., 2018). Приведём лишь несколько примеров. Исследования человеческой памяти документально подтвердили ненадёжность свидетельских показаний, что привело к освобождению многих несправедливо осуждённых (Loftus, 2017). Исследования «сверхоправдания» показывают, что поощрение детей за желательные виды деятельности может подорвать их внутреннюю мотивацию к этим занятиям (Lepper и Henderlong, 2000). Исследования того, как формулируются варианты выбора, показали, что больше людей участвуют в социальных программах (например, пенсионных накоплениях или донорстве органов), если их автоматически включают в программу и предоставляют возможность отказаться (opt‑out), по сравнению с ситуацией, когда нужно принять решение о вступлении (opt‑in) (Jachimowicz et al., 2018). Всё чаще исследователи и правительства используют подобные психологические знания для решения социальных задач и проблем, в том числе для повышения эффективности образования, сокращения государственных расходов на неэффективные программы, улучшения здоровья населения и снижения стереотипов и предубеждений (Walton & Wilson, 2018; Wood & Neal, 2016).

Возможно, что наряду с этим прогрессом в психологии наблюдается более низкий уровень повторяемости, чем хотелось бы. Как отмечается на протяжении всего настоящего доклада, ни одна область науки не даёт абсолютно повторяемых результатов, однако было бы полезно оценить текущий уровень повторяемости опубликованных психологических работ и задаться вопросом, соответствует ли он тому уровню, который сама дисциплина считает необходимым. Действительно, психология оказалась на переднем крае эмпирических попыток ответить на этот вопрос с помощью крупномасштабных проектов по повторению, в рамках которых исследователи из разных лабораторий пытались воспроизвести набор исследований (см. Таблицу 5‑1 в Главе 5).

Показано сравнение двух результатов для определения воспроизводимости

Показано сравнение двух результатов для определения воспроизводимости

Сами по себе проекты по повторению, однако, оказались спорными, порождая широкие разногласия относительно используемых критериев оценки повторяемости и интерпретации полученных результатов. Одни усматривают в результатах этих проектов повод для тревоги. Например, в своём выступлении перед комитетом Брайан Носек отметил: «Доказательства в пользу воспроизводимости [повторяемости] не достигают того уровня, который можно было бы ожидать или желать» (Nosek, 2018). Исследователи, разделяющие эту точку зрения, приводят ряд аргументов[5].

Во‑первых, многие попытки повторения имели сопоставимый или даже более высокий уровень строгости (например, по объёму выборки, прозрачности, пререгистрации), чем оригинальные исследования, и тем не менее многие из них не смогли воспроизвести исходные результаты (Cheung et al., 2016; Ebersole et al., 2016a; Eerland et al., 2016; Hagger et al., 2016; Klein et al., 2018; O’Donnell и et al., 2018; Wagenmakers et al., 2016). Учитывая высокую степень внимания к работам по повторению (Zwaan et al., 2018), маловероятно, что большинство неудачных повторений объясняются небрежностью в проведении исследований.

Во‑вторых, некоторые попытки повторения были целенаправленно сосредоточены на результатах, которые привлекли к себе большое внимание, вошли в учебники и являются в том или ином смысле «громкими» – то есть на результатах, которые, казалось бы, должны обладать высокой устойчивостью. Часть таких повторений увенчалась успехом, но многие – нет (например, Hagger et al., 2016; O’Donnell et al., 2018; Wagenmakers et al., 2016).

В‑третьих, ряд попыток повторения носили совместный характер, при этом исследователи, тесно связанные с оригинальным результатом (например, авторы исходных работ или специалисты с большим опытом в данной области), принимали активное участие в проверке дизайна и процедуры повторного исследования (Cheung et al., 2016; Eerland et al., 2016; Hagger et al., 2016; O’Donnell и et al., 2018; Wagenmakers et al., 2016). Однако это не привело к стабильно положительным результатам повторений.

В‑четвёртых, когда для неудач при повторении предлагаются возможные объясняющие факторы, они часто носят умозрительный характер и ещё не проверены эмпирически. Например, неудачи при повторении связывают с контекстной чувствительностью и с тем, что некоторые феномены просто труднее воспроизвести в другое время и в другом месте (Van Bavel et., 2016). Однако без перспективных эмпирических проверок этого или других предлагаемых объяснений остаётся реальной возможностью то, что исходный результат в принципе не является повторяемым.

В‑пятых, даже если предположить, что существенная доля (скажем, одна треть) неудачных повторений является ложноотрицательными результатами, это всё равно приводит к выводу, что уровень повторяемости в психологии не достигает идеала. Таким образом, чтобы утверждать, что показатели повторяемости приемлемы (например, близки к 80 %), необходимо быть уверенным, что большинство неудачных повторений имеют существенные недостатки.

Однако другие исследователи придерживаются совершенно иного взгляда на результаты уже проведённых проектов по повторению и предлагают свои аргументы и доказательства. Во‑первых, в некоторых проектах были получены относительно высокие показатели повторяемости: например, Klein et al. (2014) успешно повторили 10 из 13 результатов. Во‑вторых, некоторые громкие проекты (например, Open Science Collaboration, 2015) могли занизить реальный уровень повторяемости из‑за того, что в них не были исправлены ошибки, а также были внесены изменения в процедуру повторения, которых не было в оригинальных исследованиях (см., например: Bench et al., 2017; Etz & Vandekerckhove, 2016; Gilbert et al., 2015; Van Bavel et al., 2016). Более того, выявлен ряд случаев, когда исследования не воспроизводились именно из‑за методологических изменений в повторных экспериментах, а не из‑за проблем с исходными работами; когда эти изменения устраняли, повторение проходило успешно (например, Alogna et al., 2014; Luttrell et al., 2017; Noah et al., 2018). Наконец, остаётся неизвестной обобщаемость результатов самих проектов по повторению, поскольку ни один из них не отбирал исследования для повторения случайным образом, и во многих случаях выбор был достаточно избирательным.

Нерешённым вопросом при любом анализе повторяемости остаётся то, какие именно критерии следует использовать для определения успеха или неудачи. Мета-анализ совокупности результатов может быть более перспективным инструментом для оценки повторяемости, поскольку он позволяет оценить модераторы эффектов, а также однородность результатов. Однако при небольшом числе исследований мета-анализ может не обладать достаточной статистической мощностью.

Несмотря на противоположные взгляды на интерпретацию крупномасштабных проектов по повторению, начинает формироваться консенсус в том, что называть психологию наукой, находящейся в состоянии «кризиса», не является ни полезным, ни обоснованным. Носек выразил это так в своих комментариях для комитета: «Насколько широко распространена проблема воспроизводимости результатов в науке и технике в целом? Простой ответ: мы не знаем. У нас недостаточно информации, чтобы с какой-либо уверенностью дать оценку для какой-то отдельной области или даже для науки в целом». Он добавил: «Мне не нравится термин “кризис”, потому что он подразумевает множество вещей, в которых мы не уверены».

Более того, даже если бы существовала окончательная оценка повторяемости в психологии, никто не знает, каков ожидаемый уровень неповторяемости в здоровой науке. Эмпирические результаты в психологии, как и в науке в целом, по своей природе вероятностны, а это означает, что некоторое количество неудачных повторений неизбежно. Как мы подчёркиваем на протяжении всего доклада, новаторские исследования с большой вероятностью будут давать неоднозначные результаты, поскольку они раздвигают границы знания. Амбициозные исследовательские программы, например, связывающие мозг и поведение, генетические и средовые влияния, вычислительные модели с эмпирическими данными или гормональные колебания с эмоциями, неизбежно приводят к некоторым тупикам и неудачам. Одним словом, некоторые неудачи при повторении могут отражать нормальный прогресс в науке, а также могут указывать на недостаток теоретического понимания или методологические ограничения.

Каков бы ни был масштаб проблемы, научные методы и приёмы анализа данных всегда можно улучшить, и нынешняя дискуссия продолжает давнюю традицию методологических новаций в психологии. Новые практики, такие как проверка эффективности экспериментальных манипуляций, уже стали принятыми в этой области. Заявки на гранты теперь в обязательном порядке включают анализ статистической мощности. В лонгитюдных исследованиях уже не просто констатируют отсев участников, а систематически оценивают его влияние (например, с помощью анализа по принципу «назначенного лечения» – intention‑to‑treat). В то же время не все исследователи внедрили у себя передовые практики, иногда отставая от современного уровня знаний (Sedlmeier & Gigerenzer, 1989). Лишь в последнее время учёные начинают систематически использовать расчёты мощности в исследовательских отчётах и предоставлять открытый доступ к данным и материалам. В последнее десятилетие давление на исследователей с целью улучшения практик и повышения прозрачности усилилось благодаря новым разработкам в области информационных технологий, которые расширяют доступ общественности к информации и возможности для критической оценки науки (Lupia, 2017 ? не уверен в ссылке).


К сожалению, пару исследований не смог добавить, они не на поверхности лежат. Некоторые ссылки оформлены не через doi, а ведут напрямую на сайт журнала, это связано с тем, что псайнет апа я в рот ебал с их ограничениями. При необходимости (по первому запросу) составлю библиографию. Хотя сильно сомневаюсь, что кому-то это надо.

Не забывайте переходить в телегу или, прости хоспаде, мах. Сам уже устал ВПН туда-сюда подрубать, поэтому буду дублировать всякое туда.

Показать полностью 1
47

Ответ на пост «Подруга влюбилась в сидельца (наркомана, гопника etc) - что делать?»1

Я как-то писал сдержанный ответ на пост биохимички про окситоцин... Один из её последующих постов я решил проигнорировать и написать пост об интраназальном введении окситоцина (как частном случае проблем исследований связи окситоцина и поведения у людей), чтобы лишний раз не триггерить любителей данной гражданки.

Сейчас панамка полностью открыта и ждёт наполнения.


Я не пыталась подтвердить логику некоторых "люблю утырка - ничего не могу поделать: гормоны бушуют"! Про императивность гормонов - это совершенно неверный вывод из моих постов. Не надо его делать.

А дело всё в том, что логики в школах нет уже 67 лет. Когда вы пишете "Х вызывает Y", в голове среднего читателя появляется нерушимая, негнущаяся спайка "Если было X, то обязательно будет Y". Да и будем честны: не сыграла ваша попытка снизить категоричность суждений. Они всё ещё находятся на уровне, когда реальность подменена поэтикой. Нет бы написать "дофамин не выполняет одну функцию и мы не знаем, как дофамин влияет на поведение", вы предпочли написать "влюблённость — дофаминовый пожар, а привязанность — окситоциновый очаг".

Что здесь должен понять средний читатель? При условии, что даже я нихера не понимаю. Если начать разбирать это суждение, то получается полная бессмыслица.

Потому нет оснований сетовать на кривозубость крестьян. Любая популяризация является выстрелом из пушки по воробьям: вы можете целиться долго и точно, но итог заранее предрешён. Вы этот итог (его издержки) либо принимаете, либо потом оправдываетесь.

Нейрохимия здесь всё та же. Дофамин (ожидание награды)

Это как сказать, что автомобиль — перевозка канистр. Да, участвует дофамин в ожидании награды. Проблема в том, что среднему гражданину перед этим нужно объяснить концепцию предиктивного кодирования, объяснить, что мозг генерирует ожидание сверху и посылает его вниз, а затем, когда получает сигналы от реальности, отправляет расхождение вверх.

Дофамин как раз и кодирует ту самую ошибку предсказания. Притом нужно отметить, что дофамин кодирует ошибку предсказания вообще, а не только награды. Об этом свидетельствует концепция APE. Здесь нужно отметить, что с APE в науке существует неоднозначность: некоторые исследователи (и исследования) склонны считать, что часть дофаминовых нейронов кодирует именно ненаправленную (по модулю) ошибку предсказания, безразличную тому, положительное это событие или нет, а другие склонны считать, что дофамин на аверсивные стимулы действует иначе. Энивей.

Не понимает средний гражданин такие концепции. Не надо ему в голову совать клочки. Он из этих клочков соберёт слово "жопа" и будет вам в лицо тыкать.

Потому функции дофамина не ограничиваются ожиданием награды. У нас нет данных о том, что дофамин связан с ощущением ожидания награды, вообще нет надёжных данных о том, что работа дофамина имеет хоть какое-то внятное ощущение. Мы не можем почувствовать работу дофамина.

Ошибка предсказания вознаграждения никакого психологического отношения к чувству неопределённости не имеет. Первое является вычислительной нейробиологической моделью и никогда... ещё раз... никогда не получало воплощение в категориях субъективного опыта. Есть самоотчёты в исследованиях Норы Волков, но самоотчёты...

включается на загадках/неопределённостях (которых в таких отношениях хватает). Такой партнёр - непредсказуем. Сегодня нежен, завтра груб, послезавтра исчез, а через неделю снова появился с цветами (конфетами, магнитиками на холодильник, хламидиями, триппером, - нужное подчеркнуть, можно выбрать несколько вариантов). Каждый раз, когда он возвращается, мозг получает мощный дофаминовый всплеск.

Нет. Если партнёр стабильно непредсказуем и мозг "выучил" это как паттерн, то сигнал должен постепенно слабеть, а не расти. Об этом свидетельствуют два положения.

Первое положение основывается на косвенных данных. Мы гарантированно знаем, что на знакомые паттерны дофамин реагирует всё слабее и слабее. Если паттерн меняется (или меняется его часть, частота, сила и т.д.), то дофамин показывает всплеск (конкретно речь идёт о мезолимбической проекции).

Второе положение касается моделей дофамина в вопросах зависимости. Но сперва цитата из поста:

Это формирует дофаминовую зависимость, ОЧЕНЬ похожую на наркотическую. Исследования показывают, что у людей в состоянии влюблённости активность дофаминовой системы такая же, как у наркоманов в ожидании дозы.

Во-первых, какие исследования это показывают? Да, в конце есть какое-то исследование. Это ПЭТ с использованием раклоприда на десяти человеках. Нет группы наркозависимых, нет группы людей в абьюзивных отношениях (а именно таких мы обсуждаем). А из эффектов: повышение дофаминового отклика при виде партнёра, то есть не "активность такая же, как у наркомана в ожидании дозы".

Во-вторых, существует дофаминовая модель зависимости, известная как теория сенсибилизации стимулов, и она утверждает, что дофаминовая система наркотически зависимых людей становится гиперреактивной на стимулы. Есть ли там разница в дофаминовом сигнале между стимулом и веществом? Да, конечно.

Нет, это не та же самая зависимость по механизму и, соответственно, по неизлечимости или силе тяги. Средний гражданин прочитает "ОЧЕНЬ похожую" и потом пойдёт срать в комментариях и постах о том, что ВУЧЁНЫЕ ДОКОЗАЛЕ, ЧТО ЛЮБОВЬ _ ЭТО ЗАВИСИМОСТЬ.

Нахуя?

Вариации дофаминовых рецепторов (DRD2) могут определять, насколько сильно мы реагируем на пресловутую непредсказуемость. Это - часть нейрохимического профиля, с которым человек родился. И это тоже важно понимать и учитывать, чтобы не винить её, а помочь ей это осознать.

Это отдельная и, на мой вкус, самая слабая часть. DRD2 (особенно аллель A1/Taq1A) — это ровно тот ген, вокруг которого была построена одна из самых известных историй кандидатных генов в психогенетике 90-х и нулевых. Сперва пытались нащупать корреляции для алкоголизма, а потом перешли к компульсивному поведению, азартным играм, ожирению, любовной, блять, зависимости.

Проблема в том, что абсолютное большинство этих ассоциаций не воспроизвелись в последующих крупных выборках и не подтверждаются GWAS-подходами, которые пришли на смену парадигме кандидатных генов и их методологии.

Именно потому, что методология эта систематически не воспроизводилась. У сложных поведенческих фенотипов эффект отдельных генов ебейше мал. Там доли процента объяснённой дисперсии. Ни о каких "насколько сильно" и речи не идёт.

Антидепрессанты, например, могут снизить остроту дофаминовой "ломки" и дать ей пространство для принятия решения.

Какие антидепрессанты? Они разные. Что за дофаминовая ломка? Блять, синоним абстинентного синдрома применительно к романтической привязанности... И правда, а почему вас "неправильно" понимают читатели?

Я уже с ума схожу.

Показать полностью
11

Повышает ли окситоцин доверие?

Большой перерыв надо чем-то заполнить. А расскажу-ка я историю.

В 2005-м году группа исследователей под руководством Майкла Косфельда опубликовала в Nature статью о том, что интраназальное введение окситоцина увеличивает доверие между людьми. Для проверки использовали экономическую игру на доверие, где один участник получал деньги и решал, какую часть отправить другому. Чем больше он переводил, тем выше уровень доверия*.

Авторы обнаружили, что участники, получившие окситоцин, в среднем отправляли значительно больше денег, чем участники, получившие плацебо. Там специально проверяли альтернативные объяснение, но всё равно пришли к выводу, что речь идёт именно об увеличении доверия, а не о больше склонности к риску вообще.

Работа вышла в престижном журнале, быстро набрала популярность и стала бессмертной классикой, на которую ссылаются и посей день.

Это был период стремительного развития социальной нейронауки и интерес к гормональным механизмам поведения был исключительно высок. Ну круто же, что один нейропептид способен сделать человека более доверяющим... доверчивым... Именно после этой статьи окситоцин потащили в массы как "гормон доверия". А затем и "гормон любви", хотя сами авторы подобных ярлыков не использовали. История с гормоном любви сложнее.

Тема оказалась благодатной, поэтому в течение следующего десятилетия появились десятки исследований, пытавшихся связать окситоцин с доверием, эмпатией, сотрудничеством, альтруизмом и другими формами социального поведения.

Сколько из них опубликовали?

Не ноль, но мало.

Не ноль, но мало.

Результаты становились всё менее однозначными. Одни лаборатории сообщали о положительном эффекте, другие не находили его вовсе, третьи обнаруживали эффект только у отдельных групп участников или лишь при очень специфических условиях эксперимента. Постепенно стало ясно, что литература представляет собой весьма неоднородную картину.

2015-й стал годом Хэ. В 2015-м группа Гидеона Нейва (довольно известного в узких кругах гражданина) провела критический обзор основного исследования и накопившихся данных. (подробнее здесь)

Если коротко, то группа Нейва пересчитала данные Косфельда, ужаснулась, посмотрела на исследования окситоцина и доверия, проводившиеся в их лаборатории за последние десять лет (с 2005 по 2015), и обнаружила парочку занятных нюансов.

Нюанс первый: оригинальный анализ Косфельда утверждал, что обнаруженный эффект окситоцина на доверие является значимым (p = 0.029, когда стандартом считается .05), но пересчёт Нейва показал .057 — а это уже проблема.

Это означает, что группа Косфельда не уложилась в p-значение, которое показывает, что результат может быть случайным.

Нюанс второй: лаборатории десять лет проводили исследования о связи окситоцина и доверия, получали положительные результаты, но предпочитали их не публиковать, а откладывать стол. И получилась ситуация, когда у вас в журналах пишут "да, эффект есть", а в столе томится огромная папочка с материалом о том, что эффект не обнаружен.

Группа Нейва в своём анализе пришла к выводу, что уловить эффект можно в исследовании на выборке не менее 400 человек, они множество исследований и во всех них суммарно едва наскребли столько.

На этом история не заканчивается.

Одним из основных аргументов сторонников первоначального открытия было предположение, что большинство последующих исследований воспроизводили эксперимент недостаточно точно. По их мнению, принципиальное значение имела небольшая деталь оригинального дизайна: перед началом игры участники кратко встречались друг с другом. Это называли условием минимального социального контакта. Возможно, именно отсутствие этого элемента в последующих работах и объясняло многочисленные неудачные воспроизведения.

Чтобы проверить эту гипотезу, была организована зарегистрированная репликация. Протокол опубликовали, журнал принял, данные собрали. Особенность данному исследованию придаёт тот факт, что в состав авторов вошёл соавтор оригинальной статьи 2005 года — Эрнст Фер.

Иными словами, в проверке собственного открытия участвовал исследователь, стоявший у его истоков.

Работа вышла в 2020-м году в Nature Human Behaviour, а исследование было значительно крупнее большинства предыдущих, да ещё и двойным слепым было, да ещё и включало условие с минимальным социальным контактом (ну и без него, разумеется).

Эффекта нет.

Точнее: авторы не обнаружили увеличения доверия после введения окситоцина даже в условиях, которые считались критически важными для появления эффекта. Лишь дополнительные, незапланированные анализы показали возможный эффект у людей с исходно низким уровнем доверчивости, однако сами исследователи подчеркнули, что подобные результаты требуют независимого подтверждения и не могут рассматриваться как доказательство. Фактически главный вывод работы состоял в отсутствии воспроизведения первоначального эффекта.

И вот мы тут. В 2026-м году группа исследователей из Маастрихтского университет решила провести ещё одну зарегистрированную репликацию, но на этот раз уделив особое внимание даже очень небольшим эффектам. Они воспроизвели эксперимент Косфельда на новой выборке из 211 человек, а затем объединили свои данные с крупнейшей предыдущей репликацией 2020 года. В результате был получен объединённый массив данных из 532 участников — крупнейший набор данных для проверки именно этой гипотезы.

Авторы использовали не только традиционные проверки статистической значимости, но и тестирование на эквивалентности. Это важное отличие. Обычный статистический тест позволяет сказать, что эффект не обнаружен и вообще "отсутствие доказательств — не доказательство отсутствия". Тестирование же позволяет сделать более сильный вывод о том, что если эффект и существует, то он настолько мал, что практически не представляет интереса для большинства лабораторных исследований. Группа попыталась обнаружить эффект.

Его нет.

Они не нашли доказательств того, что интраназальный окситоцин увеличивает доверие ни в новой выборке, ни в объединённом анализе. Более того, объединённые данные позволили заключить, что возможный эффект, если он вообще существует, настолько мал, что для его надёжного обнаружения потребовались бы выборки существенно большего размера, чем используются почти во всех подобных экспериментах. Авторы также не нашли подтверждений тому, что действие окситоцина зависит от исходного уровня доверия, чувствительности к вознаграждению или чувствительности к наказанию.


История показывает, что даже учёные (не говоря о средних гражданах) часто не проверяют основания своих убеждений и стесняются идти против мейнстрима. Ещё эта история в очередной раз показывает, что наука — вещь неоднородная.

В суждениях об окситоцине мы довольно редко уточняем, о каком окситоцине идёт речь, и редко уточняем, а что именно он делает. Сегодня мы точно знаем, что интраназальное введение окситоцина не повышает доверие.


Показать полностью 1
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества