{
    "version": "https:\/\/jsonfeed.org\/version\/1.1",
    "title": "Блоги: заметки с тегом наука",
    "_rss_description": "Автоматически собираемая лента заметок, написанных в блогах на Эгее",
    "_rss_language": "ru",
    "_itunes_email": "",
    "_itunes_categories_xml": "",
    "_itunes_image": false,
    "_itunes_explicit": "no",
    "home_page_url": "https:\/\/blogengine.ru\/blogs\/tags\/nauka\/",
    "feed_url": "https:\/\/blogengine.ru\/blogs\/tags\/nauka\/json\/",
    "icon": false,
    "authors": [
        {
            "name": "Илья Бирман",
            "url": "https:\/\/blogengine.ru\/blogs\/",
            "avatar": false
        }
    ],
    "items": [
        {
            "id": "125988",
            "url": "https:\/\/rationalnumbers.ru\/?go=all\/effekt-danninga-kryugera-avtokorrelyaciya\/",
            "title": "Эффект Даннинга-Крюгера — автокорреляция",
            "content_html": "<p><i>Перевод <a href=\"https:\/\/economicsfromthetopdown.com\/2022\/04\/08\/the-dunning-kruger-effect-is-autocorrelation\/\">статьи Блейра Фикса<\/a><\/i><\/p>\n<p>Слышали ли вы об «эффекте Даннинга-Крюгера»? Это (кажущаяся) тенденция неквалифицированных людей переоценивать свою компетентность. Открытый в 1999 году психологами <a href=\"https:\/\/www.avaresearch.com\/files\/UnskilledAndUnawareOfIt.pdf\">Джастином Крюгером и Дэвидом Даннингом<\/a>, эффект с тех пор стал знаменитым<\/p>\n<p>И вы поймёте, почему<\/p>\n<p>Это одна из идей, которая настолько привлекательна, что не может не быть правдой. Всем же известно, что идиоты, как правило, не осознают своего идиотизма. Или, как <a href=\"https:\/\/www.youtube.com\/watch?v=wvVPdyYeaQU\">выразился Джон Клиз<\/a>:<\/p>\n<blockquote>\n<p><i>Если вы очень очень глупы, как вы можете осознать, что вы очень очень очень глупы?<\/i><\/p>\n<\/blockquote>\n<p>Конечно, психологи тщательно следят за тем, чтобы доказательства соответствовали научному критерию повторяемости. Но, как ни старайся, эффект Даннинга-Крюгера следует из данных. Поэтому теория кажется обоснованной<\/p>\n<p>Но есть одна проблема<\/p>\n<p>Эффект Даннинга-Крюгера проявляется даже в тех данных, в которых не должен. Например, если вы тщательно подберёте случайные данные, чтобы они не содержали эффекта Даннинга-Крюгера, вы всё равно обнаружите этот эффект. Причина оказывается досадно простой: эффект Даннинга-Крюгера не имеет никакого отношения к человеческой психологии.¹ Это статистический артефакт — потрясающий пример автокорреляции<\/p>\n<h2><b>Что такое автокорреляция?<\/b><\/h2>\n<p>Автокорреляция возникает, когда вы коррелируете переменную с самой собой. Например, если я измерю рост 10 человек, то обнаружу, что рост каждого из них отлично коррелирует с самим собой. Если это звучит как круговая логика, то так оно и есть. Автокорреляция — это статистический эквивалент утверждения 5 = 5<\/p>\n<p>В такой формулировке идея автокорреляции звучит абсурдно. Ни один компетентный учёный не станет соотносить переменную с самой собой. И это справедливо для чистой автокорреляции. Но что, если переменная оказывается по обе стороны уравнения, и о ней забывают? В этом случае автокорреляцию обнаружить сложнее<\/p>\n<p>Вот пример. Предположим, я работаю с двумя переменными: <i>x<\/i> и <i>y<\/i>. Я обнаружил, что эти переменные совершенно не коррелируют, как показано на левой панели рисунка 1. Пока всё хорошо<\/p>\n<p>Далее я начинаю играть с данными. После некоторых манипуляций я получаю величину, которую называю <i>z<\/i>. Я сохраняю свою работу и забываю о ней. Спустя несколько месяцев мой коллега вновь обращается к моему набору данных и обнаруживает, что <i>z<\/i> сильно коррелирует с <i>x<\/i> (рис. 1, справа). Мы обнаружили что-то интересное!<\/p>\n<p>На самом деле мы обнаружили автокорреляцию. Видите ли, без ведома моего коллеги я определил переменную <i>z<\/i> как сумму <i>x + y<\/i>. В результате, когда мы коррелируем <i>z<\/i> с <i>x<\/i>, мы фактически коррелируем <i>x<\/i> с самим собой. Переменная <i>y<\/i> сопутствует данным, обеспечивая статистический шум. Вот как происходит автокорреляция — забываешь, что по обе стороны корреляции находится одна и та же переменная<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-1-1.png\" width=\"722\" height=\"390\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 1: Создание автокорреляции.<\/b> На левой панели изображены случайные величины x и y, которые не коррелируют между собой. На правой панели показано, как эта некоррелированность может быть преобразована в автокорреляцию. Мы определяем переменную z, которая сильно коррелирует с x. Проблема в том, что z — это сумма x + y. Таким образом, мы коррелируем x с самим собой. Переменная y добавляет статистический шум<\/i><\/p>\n<h2><b>Эффект Даннинга-Крюгера<\/b><\/h2>\n<p>Теперь, когда вы поняли, что такое автокорреляция, давайте поговорим об эффекте Даннинга-Крюгера. Как и в примере на рисунке 1, эффект Даннинга-Крюгера является автокорреляцией. Но вместо того, чтобы скрываться в переименованной переменной, автокорреляция Даннинга-Крюгера прячется под обманчивым графиком²<\/p>\n<p>Давайте посмотрим<\/p>\n<p>В 1999 году Даннинг и Крюгер сообщили о результатах простого эксперимента. Они попросили группу людей пройти тест на проверку навыков. (На самом деле, Даннинг и Крюгер провели несколько тестов, но это не имеет значения для моего обсуждения). Затем они попросили каждого человека оценить собственные способности. Даннинг и Крюгер (как им казалось) обнаружили, что люди, которые плохо справились с тестом, также были склонны переоценивать свои способности. Это и есть «эффект Даннинга-Крюгера»<\/p>\n<p>Даннинг и Крюгер визуализировали свои результаты, как показано на рисунке 2. Это простая диаграмма, которая обращает внимание на разницу между двумя кривыми. По горизонтальной оси Даннинг и Крюгер распределили людей по четырем группам (квартилям) в соответствии с их результатами тестов. На диаграмме две линии демонстрируют результаты внутри каждой группы. Серая линия — средние результаты людей по тесту навыков. Чёрная линия — их среднее «восприятие собственных способностей». Очевидно, что люди, получившие низкие баллы по тесту навыков, слишком самоуверенны в оценке своих способностей (или так кажется)<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-2-1.png\" width=\"504\" height=\"414\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 2: Диаграмма Даннинга-Крюгера.<\/b> Из <a href=\"https:\/\/www.avaresearch.com\/files\/UnskilledAndUnawareOfIt.pdf\">работы Даннинга и Крюгера<\/a> (1999). На этом рисунке показано, как Даннинг и Крюгер сообщили о своих первоначальных результатах. Они провели тест на определение навыков, а также попросили каждого оценить свои способности. Затем распределили людей по четырем группам в соответствии с их рейтинговыми оценками по тесту. На этом рисунке показан контраст между средним процентилем «фактического тестового балла» в каждой группе (серая линия) и средним процентилем «оценки собственных способностей». Эффект Даннинга-Крюгера — это разница между двумя кривыми, то есть тот факт, что люди, не обладающие навыками, переоценивают свои способности<\/i><\/p>\n<p>Сам по себе график Даннинга-Крюгера кажется убедительным. Добавьте к этому тот факт, что Даннинг и Крюгер — прекрасные авторы, и вы получите рецепт хитовой статьи. В связи с этим я рекомендую вам прочитать их статью, потому что она напоминает нам о том, что хорошая риторика — это не то же самое, что хорошая наука.<\/p>\n<h2><b>Деконструкция Даннинга-Крюгера<\/b><\/h2>\n<p>Теперь, когда вы увидели диаграмму Даннинга-Крюгера, давайте покажем, как она скрывает автокорреляцию. Чтобы всё было понятно, я буду комментировать графики по ходу дела<\/p>\n<p>Начнём с горизонтальной оси. В диаграмме Даннинга-Крюгера горизонтальная ось является «категориальной», то есть показывает «категории», а не числовые значения. Конечно, нет ничего плохого в том, чтобы выделять категории. Но в данном случае категории на самом деле являются числовыми показателями. Даннинг и Крюгер берут результаты тестов людей и распределяют их по 4 ранжированным группам. В статистике эти группы называются «квартилями»<\/p>\n<p>Это ранжирование означает, что по горизонтальной оси откладывается тестовый балл. Назовем этот балл <i>x<\/i><\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-3.png\" width=\"723\" height=\"619\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 3: Деконструкция диаграммы Даннинга-Крюгера.<\/b> На диаграмме Даннинга-Крюгера горизонтальная ось обозначает «фактический тестовый балл», который я назову x<\/i><\/p>\n<p>Далее посмотрим на вертикальную ось, которая обозначена как «процентиль». Это означает, что вместо того, чтобы откладывать реальные результаты теста, Даннинг и Крюгер откладывают их рейтинг по 100-балльной шкале³<\/p>\n<p>Теперь давайте посмотрим на кривые. Линия с надписью «фактический тестовый балл» показывает средний перцентиль тестового балла каждого квартиля (язык заплетается, я понимаю). Всё вроде бы хорошо, но до тех пор, пока мы не поймём, что Даннинг и Крюгер, по сути, строят график тестового балла (<i>x<\/i>) против него самого⁴. Заметив этот факт, давайте изменим обозначение серой линии. По сути, это график <i>x<\/i> против <i>x<\/i><\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-4.png\" width=\"723\" height=\"619\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 3: Деконструкция диаграммы Даннинга-Крюгера.<\/b> На диаграмме Даннинга-Крюгера линия, обозначенная как «фактический результат теста», показывает результат теста (x) по отношению к самому себе. В моей системе обозначений это x против x<\/i><\/p>\n<p>Двигаясь дальше, давайте посмотрим на график, обозначенный как «восприятие собственных способностей». Эта линия показывает средний процент самооценки каждой группы. Назовём эту самооценку <i>y<\/i>. Вспомнив, что мы обозначили «фактический результат теста» как <i>x<\/i>, мы увидим, что чёрная линия показывает отношение <i>y<\/i> к <i>x<\/i><\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-5.png\" width=\"723\" height=\"619\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 3: Деконструкция диаграммы Даннинга-Крюгера.<\/b> На диаграмме Даннинга-Крюгера линия, обозначенная как «восприятие собственных способностей», строит график «воспринимаемых способностей» y против реального тестового балла x<\/i><\/p>\n<p>Пока что ничего не бросается в глаза как явная ошибка. Да, это немного странно — строить график <i>x<\/i> против <i>x<\/i>. Но Даннинг и Крюгер не утверждают, что важна только эта линия. Важна разница между двумя линиями («восприятия собственных способностей» и «реальных результатов теста»). Именно в этой разнице и проявляется автокорреляция<\/p>\n<p>В математических терминах «разница» означает «вычесть». Поэтому, показывая нам две расходящиеся линии, Даннинг и Крюгер (неявно) просят нас вычесть одну из другой: возьмите «восприятие собственных способностей» и вычтите «фактический тестовый балл». В моей системе обозначений это соответствует <i>y — x<\/i><\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-6.png\" width=\"723\" height=\"619\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 3: Деконструкция диаграммы Даннинга-Крюгера.<\/b> Чтобы интерпретировать график Даннинга-Крюгера, мы (неявно) смотрим на разницу между двумя кривыми. Это соответствует тому, чтобы взять «восприятие собственных способностей» и вычесть из него «фактический тестовый балл». В моей системе обозначений эта разница равна y — x (обозначена двунаправленной стрелкой). Когда мы оцениваем эту разницу как функцию горизонтальной оси, мы неявно сравниваем y — x с x. Поскольку x находится по обе стороны сравнения, результатом будет автокорреляция<\/i><\/p>\n<p>Вычитание <i>y — x<\/i> кажется нормальным, пока мы не поймём, что должны интерпретировать эту разницу как функцию горизонтальной оси. Но по горизонтальной оси откладывается тестовый балл <i>x<\/i>. Поэтому нас (неявно) просят сравнить <i>y — x<\/i> с <i>x<\/i>:<\/p>\n<p><i>(y — x) ∼ x<\/i><\/p>\n<p>Видите, в чём проблема? Мы сравниваем <i>x<\/i> с отрицательной версией самого себя. Это хрестоматийная автокорреляция. Это значит, что мы можем подставлять вместо <i>x<\/i> и <i>y<\/i> случайные числа — числа, которые не могут содержать эффект Даннинга-Крюгера — и всё равно эффект проявится<\/p>\n<h2><b>Воспроизведение Даннинга-Крюгера<\/b><\/h2>\n<p>Честно говоря, меня не особо убеждают приведённые выше аналитические аргументы. Только используя реальные данные я могу понять проблему с эффектом Даннинга-Крюгера. Так что давайте посмотрим на реальные числа<\/p>\n<p>Предположим, что мы — психологи, получившие большой грант на воспроизведение эксперимента Даннинга-Крюгера. Мы набираем 1000 человек, проводим с каждым из них тест на определение навыков и просим их дать оценку своих способностей. Получив результаты, мы смотрим на данные<\/p>\n<p>Они выглядят не очень хорошо<\/p>\n<p>Если мы сравним результаты теста с самооценкой, данные будут выглядеть совершенно случайными. На рисунке 7 показано это распределение. Похоже, что люди вне зависимости от навыков одинаково плохо оценивают свои способности. Здесь нет и намёка на эффект Даннинга-Крюгера<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-7.png\" width=\"722\" height=\"650\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 7: Неудачная репликация.<\/b> На этом рисунке показаны результаты мысленного эксперимента, в котором мы пытаемся воспроизвести эффект Даннинга-Крюгера. Мы попросили 1000 человек пройти тест на определение навыков и оценить свои способности. Здесь представлены исходные данные. Каждая точка представляет собой результат отдельного человека: по горизонтали — «фактический результат теста», по вертикали — «самооценка». Здесь нет и намёка на эффект Даннинга-Крюгера<\/i><\/p>\n<p>Посмотрев на исходные данные, мы забеспокоились, что сделали что-то не так. Множество других исследователей воспроизвело эффект Даннинга-Крюгера. Неужели мы допустили ошибку в нашем эксперименте?<\/p>\n<p>К сожалению, мы не можем собрать больше данных (у нас закончились деньги). Но мы можем поиграться с анализом. Коллега предлагает вместо построения графика исходных данных вычислить «ошибку самооценки» каждого человека. Эта ошибка — разница между самооценкой человека и его тестовым баллом. Возможно, эта ошибка оценки связана с реальным результатом теста?<\/p>\n<p>Мы проводим расчёты и, к нашему изумлению, обнаруживаем огромный эффект. Результаты — на рисунке 8. Похоже, что неквалифицированные люди чрезвычайно самоуверенны, а квалифицированные — чрезмерно скромны<\/p>\n<p>(Наши лаборанты отмечают, что корреляция удивительно чёткая, как будто числа подбирались вручную. Но мы игнорируем это замечание и продолжаем работать дальше)<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-8.png\" width=\"722\" height=\"650\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 8: Может быть, эксперимент был успешным?<\/b> Используя исходные данные с рисунка 7, мы рассчитали «ошибку самооценки» — разницу между самооценкой человека и его реальными тестовыми баллами. Эта ошибка оценки (вертикальная ось) сильно коррелирует с фактическим результатом теста (горизонтальная ось)<\/i><\/p>\n<p>Воодушевленные успехом на рисунке 8, мы решаем, что результаты, возможно, не так уж и плохи. Поэтому мы бросаем данные в диаграмму Даннинга-Крюгера, чтобы посмотреть, что получится. Мы обнаруживаем, что, несмотря на наши опасения по поводу данных, эффект Даннинга-Крюгера присутствовал всегда. На самом деле, как показывает рисунок 9, наш эффект даже больше, чем на исходной диаграмме с рисунка 2<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-9.png\" width=\"722\" height=\"650\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 9: Вос Даннинга и Крюгера.<\/b> Несмотря на кажущееся отсутствие эффекта в наших исходных данных (рисунок 7), когда мы подставляем эти данные в диаграмму Даннинга-Крюгера, мы обнаруживаем явный эффект. Неквалифицированные люди переоценивают свои способности, а опытные — слишком скромны<\/i><\/p>\n<h2><b>Всё рушится<\/b><\/h2>\n<p>Довольные успешным воспроизведением эксперимента, мы начинаем записывать результаты. И тут всё рушится. Хранитель наших данных, испытывая чувство вины, всё же сознаётся: он <i>потерял данные<\/i> нашего эксперимента и в приступе паники заменил их <i>случайными числами<\/i>. Наши результаты, признаётся он, основаны на статистическом шуме<\/p>\n<p>Опустошённые, мы возвращаемся к нашим данным, чтобы понять, что пошло не так. Если мы работали со случайными числами, то как мы могли воспроизвести эффект Даннинга-Крюгера? Чтобы понять, что произошло, отбросим притворство, что мы работаем с психологическими данными. Мы перемаркируем наши графики абстрактными переменными <i>x<\/i> и <i>y<\/i>. Сделав это, мы обнаруживаем, что наш «эффект» на самом деле является автокорреляцией<\/p>\n<p>На рисунке 10 это показано наглядно. Наш набор данных состоит из статистического шума — двух случайных переменных <i>x<\/i> и <i>y<\/i>, которые совершенно не связаны между собой (диаграмма A). Когда мы рассчитывали «ошибку самооценки», мы взяли разницу между <i>y<\/i> и <i>x<\/i>. Неудивительно, что эта разница коррелирует с <i>x<\/i> (диаграмма B). Всё дело в том, что <i>x<\/i> автокоррелирует с самим собой. Наконец, мы разбираем диаграмму Даннинга-Крюгера и понимаем, что она тоже основана на автокорреляции (диаграмма C). Она просит нас интерпретировать разницу между <i>y<\/i> и <i>x<\/i> как функцию от <i>x<\/i>. Это автокорреляция из диаграммы B, обёрнутая в более обманчивую обёртку<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-10.png\" width=\"722\" height=\"722\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 10: Отказ от психологических притязаний.<\/b> Этот рисунок повторяет анализ, показанный на рисунках 7—9, но отбрасывает претензию на то, что мы имеем дело с психологией человека. Мы работаем со случайными переменными x и y, взятыми из равномерного распределения. На диаграмме A показано, что переменные совершенно не коррелируют между собой. На диаграмме B показано, что когда мы строим график y — x против x, мы получаем сильную корреляцию. Но это потому, что мы скоррелировали x с самим собой. На панели C мы вводим эти переменные в диаграмму Даннинга-Крюгера. И снова кажущийся эффект является автокорреляцией — интерпретацией y — x как функции от x<\/i><\/p>\n<p>Смысл этой истории в том, чтобы проиллюстрировать, что эффект Даннинга-Крюгера не имеет ничего общего с человеческой психологией. Это статистический артефакт — пример автокорреляции, скрывающейся на виду<\/p>\n<p>Интересно то, сколько времени потребовалось исследователям, чтобы обнаружить ошибку в анализе Даннинга и Крюгера. Даннинг и Крюгер опубликовали свои результаты в 1999 году. Но ошибку не замечали вплоть до 2016 года. Насколько мне известно, Эдвард Нюфер и его коллеги были первыми, кто исчерпывающе развенчал эффект Даннинга-Крюгера (см. их совместные работы, опубликованные в <a href=\"https:\/\/digitalcommons.usf.edu\/cgi\/viewcontent.cgi?article=1188&context=numeracy\">2016<\/a> и <a href=\"https:\/\/digitalcommons.usf.edu\/cgi\/viewcontent.cgi?article=1215&context=numeracy\">2017<\/a> годах). В 2020 году Жиль Жиньяк и Марцин Заенковски опубликовали <a href=\"https:\/\/www.gwern.net\/docs\/iq\/2020-gignac.pdf\">аналогичную критику<\/a><\/p>\n<p>После прочтения этих критических статей становится до боли очевидно, что эффект Даннинга-Крюгера — всего лишь статистический артефакт. Но до сих пор мало кто знает об этом факте. В три критические статьи в сумме имеют примерно в 90 раз меньше цитирований, чем оригинальная статья Даннинга-Крюгера⁵. Поэтому есть подозрение, что большинство учёных по-прежнему считают, что эффект Даннинга-Крюгера — это устойчивый аспект человеческой психологии<\/p>\n<h2><b>Никаких признаков Даннинга-Крюгера<\/b><\/h2>\n<p>Проблема с диаграммой Даннинга-Крюгера заключается в том, что она нарушает фундаментальный принцип статистики. Если вы собираетесь соотнести два набора данных, они должны быть собраны независимо друг от друга. В диаграмме Даннинга-Крюгера этот принцип нарушается. Диаграмма помещает результаты тестов на обе оси, что приводит к автокорреляции<\/p>\n<p>Осознав эту ошибку, Эдвард Нюфер и его коллеги задались интересным вопросом: что произойдёт с эффектом Даннинга-Крюгера, если измерить его статистически достоверным способом? Согласно полученным Нюфером данным, ответ заключается в том, что эффект исчезает.<\/p>\n<p>На рисунке 11 показаны их результаты. Здесь важно то, что «навык» людей измеряется независимо от результатов их тестов и самооценки. Чтобы измерить «навыки», Нюфер группирует людей по уровню их образования, показанному по горизонтальной оси. По вертикальной оси откладывается расхождение с самооценкой людей. Каждая точка представляет собой отдельного человека<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/rationalnumbers.ru\/pictures\/photo-11.png\" width=\"723\" height=\"413\" alt=\"\" \/>\n<\/div>\n<p><i><b>Рисунок 11: Статистически достоверный тест на эффект Даннинга-Крюгера.<\/b> На этом рисунке показан тест эффекта Даннинга-Крюгера, проведённый Нюфером и его коллегами в 2017 году. Как и на рисунке 8, на этой диаграмме отображается соотношение навыков людей и их ошибки в самооценке. Но, в отличие от рисунка 8, здесь переменные статистически независимы. По горизонтальной оси навык измеряется с помощью академического ранга. Вертикальная ось измеряет ошибку самооценки следующим образом. Нухфер берёт баллы человека по тесту SLCI (science literacy concept inventory test) и вычитает их из его самооценки, которая называется KSSLCI (knowledge survey of the SLCI test). Каждая чёрная точка обозначает ошибку в самооценке человека. Зелёным цветом указаны средние значения в каждой группе с соответствующим доверительным интервалом. Тот факт, что зелёные линии перекрывают линию нулевого эффекта, указывает на то, что внутри каждой группы средние значения статистически не отличаются от 0. Другими словами, нет никаких признаков эффекта Даннинга-Крюгера<\/i><\/p>\n<p>Если бы эффект Даннинга-Крюгера присутствовал, он проявился бы на рисунке 11 в виде тенденции к снижению данных (аналогично тенденции на рисунке 7). Такая тенденция свидетельствовала бы о том, что неквалифицированные люди действительно переоценивают свои способности, и что эта «самоуверенность» уменьшается с ростом квалификации. Если посмотреть на рисунок 11, то здесь нет и намёка на тенденцию. Вместо этого средняя ошибка в оценке (обозначенная зелёным цветом) колеблется около нуля. Другими словами, погрешность оценки тривиально мала<\/p>\n<p>Несмотря на отсутствие эффекта Даннинга-Крюгера, на рисунке 11 прослеживается интересная закономерность. Если двигаться слева направо, то разброс ошибок в самооценке имеет тенденцию к уменьшению с ростом уровня образования. Другими словами, профессора в целом лучше оценивают свои способности, чем первокурсники. Это вполне логично. Заметьте, однако, что это увеличение точности отличается от эффекта Даннинга-Крюгера, который заключается в систематической предвзятости средней оценки. В данных Нюфера такой предвзятости не наблюдается<\/p>\n<h2><b>Неквалифицированные и несведущие<\/b><\/h2>\n<p>Ошибки случаются. Поэтому мы не можем обвинять Даннинга и Крюгера в том, что они ошиблись. Однако, в обстоятельствах их ошибки есть восхитительная ирония. Вот два профессора Лиги плюща⁷ утверждают, что неквалифицированные люди несут «двойное бремя»: неквалифицированные люди не просто «некомпетентны», но и не осознают своей некомпетентности<\/p>\n<p>Ирония заключается в том, что на самом деле ситуация обратная. В своей основополагающей работе Даннинг и Крюгер именно транслируют свою (статистическую) некомпетентность, путая автокорреляцию с психологическим эффектом. В этом свете название работы, возможно, всё ещё уместно. Просто авторы (а не испытуемые) были «некомпетентны и не знали об этом»<\/p>\n<h2>Примечания:<\/h2>\n<ol start=\"1\">\n<li>Эффект Даннинга-Крюгера ничего не говорит нам о людях, которых он якобы измеряет. Но он говорит нам о психологии социологов, которые, очевидно, испытывают трудности со статистикой<\/li>\n<li>Кажется очевидным, что Даннинг и Крюгер не хотели никого обманывать. Вместо этого, похоже, они обманули себя (и многих других). В этой связи мне стыдно признаться, что я прочитал статью Даннинга и Крюгера несколько лет назад и не заметил ничего плохого. Только после прочтения статьи <a href=\"https:\/\/www.mcgill.ca\/oss\/article\/critical-thinking\/dunning-kruger-effect-probably-not-real\">Джонатана Джерри<\/a> я понял, в чём дело. Это немного неловко, ведь одной из главных тем этого блога было то, что я указывал на то, как экономисты апеллируют к автокорреляции при проверке своих теорий стоимости. (Примеры <a href=\"https:\/\/economicsfromthetopdown.com\/2019\/07\/08\/no-productivity-does-not-explain-income\/\">здесь<\/a>, <a href=\"https:\/\/economicsfromthetopdown.com\/2019\/11\/14\/productivity-does-not-explain-wages\/\">здесь<\/a>, <a href=\"https:\/\/economicsfromthetopdown.com\/2020\/01\/17\/debunking-the-productivity-pay-gap\/\">здесь<\/a>, <a href=\"https:\/\/economicsfromthetopdown.com\/2020\/05\/23\/productivity-and-income-again\/\">здесь<\/a> и <a href=\"https:\/\/economicsfromthetopdown.com\/2021\/09\/11\/how-the-labor-theory-of-value-emerges-from-egalitarianism\/\">здесь<\/a>). Я утешаюсь тем, что многие учёные тоже были одурачены таблицей Даннинга-Крюгера ︎п︎одобным образом<\/li>\n<li>Преобразование в процентили вносит вторую погрешность (в дополнение к проблеме автокорреляции). По определению, перцентили имеют дно (0) и потолок (100) и равномерно распределены между этими границами. Если вы находитесь близко к полу, то занизить свой ранг невозможно. Поэтому «некомпетентные» будут выглядеть слишком самоуверенными. А если вы находитесь близко к потолку, то переоценить свой ранг невозможно. Поэтому «опытные» будут казаться слишком скромными. Подробнее см. в работе Нюфера (2016)<\/li>\n<li>С технической точки зрения, Даннинг и Крюгер строят график двух различных форм ранжирования друг против друга — «процентиль» тестового балла против «квартиля» тестового балла. Что не очевидно, так это то, что этот тип графика является *независимым от данных*. По определению, каждый квартиль содержит 25 перцентилей, среднее значение которых соответствует медиане квартиля. Следствием этой банальности является то, что график «фактического тестового балла» ничего не говорит нам (как это ни парадоксально) о фактических тестовых баллах людей<\/li>\n<li>По данным Google scholar, три критические статьи (Nuhfer 2016, 2017 и Gignac and Zajenkowski 2020) имеют 88 цитирований в совокупности. Для сравнения, Даннинг и Крюгер (1999) имеют 7893 цитирования<\/li>\n<li>Медленное распространение «разоблачений» — распространённая проблема в науке. Даже когда оригинальные (ошибочные) статьи опровергаются, они часто продолжают <a href=\"https:\/\/retractionwatch.com\/the-retraction-watch-leaderboard\/top-10-most-highly-cited-retracted-papers\/\">собирать цитирования<\/a>. Кроме того, критические статьи редко публикуются в том же журнале, в котором была опубликована оригинальная статья. Так что небезупречная статья в *Nature*, скорее всего, будет развенчана в более малоизвестном журнале. Эта асимметрия отчасти объясняет, почему я пишу здесь об эффекте Даннинга-Крюгера. Я думаю, что критика, поднятая Нюфером и др. (Жиньяком и Заенковски), заслуживает широкой известности<\/li>\n<li>Когда Даннинг и Крюгер опубликовали свою работу 1999 года, они оба работали в Корнельском университете<\/li>\n<\/ol>\n<h2>Дополнительная литература:<\/h2>\n<p>Gignac, G. E., & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data. <i>Intelligence<\/i>, <i>80<\/i>, 101449.<\/p>\n<p>Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one’s own incompetence lead to inflated self-assessments. <i>Journal of Personality and Social Psychology<\/i>, <i>77<\/i>(6), 1121.<\/p>\n<p>Nuhfer, E., Cogan, C., Fleisher, S., Gaze, E., & Wirth, K. (2016). Random number simulations reveal how random noise affects the measurements and graphical portrayals of self-assessed competency. <i>Numeracy: Advancing Education in Quantitative Literacy<\/i>, <i>9<\/i>(1).<\/p>\n<p>Nuhfer, E., Fleisher, S., Cogan, C., Wirth, K., & Gaze, E. (2017). How random noise and a graphical convention subverted behavioral scientists’ explanations of self-assessment data: Numeracy underlies better alternatives. <i>Numeracy: Advancing Education in Quantitative Literacy<\/i>, <i>10<\/i>(1).<\/p>\n",
            "date_published": "2024-02-21T19:12:20+05:00",
            "date_modified": "2024-02-21T19:12:06+05:00",
            "tags": [
                "наука",
                "Психология",
                "статистика"
            ],
            "author": {
                "name": "Кирилл Олейниченко",
                "url": "https:\/\/rationalnumbers.ru\/",
                "avatar": "https:\/\/rationalnumbers.ru\/pictures\/userpic\/userpic@2x.jpg?1665434398"
            },
            "_date_published_rfc2822": "Wed, 21 Feb 2024 19:12:20 +0500",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "125988",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": null,
                "og_images": []
            }
        },
        {
            "id": "132895",
            "url": "https:\/\/artemushanov.ru\/?go=all\/vyuchennoy-bespomoschnosti-ne-suschestvuet-vebinar-e-timonovoy\/",
            "title": "Выученной беспомощности не существует (вебинар Е. Тимоновой)",
            "content_html": "<div class=\"e2-text-picture\">\n<img src=\"https:\/\/artemushanov.ru\/pictures\/image-5.png\" width=\"750\" height=\"463\" alt=\"\" \/>\n<\/div>\n<p>Посмотрел <a href=\"https:\/\/youtu.be\/infg_j1mO3k\">вебинар<\/a> про выученную беспомощность, сделал заметок.<\/p>\n<p><a name=\"tldr\"><\/a><\/p>\n<h2>Короче  <a href=\"https:\/\/artemushanov.ru\/?go=all\/vyuchennoy-bespomoschnosti-ne-suschestvuet-vebinar-e-timonovoy\/#tldr\"> <font color=\"silver\" size=\"2\">#<\/font><\/a><\/h2>\n<p>То, что называют выученной беспомощностью, на самом деле — врожденная «детская» реакция на стресс. Чтобы от этой реакции избавиться, нужно избавляться от стресса (и стрессора). Вот так просто, но не легко.<\/p>\n<p><a name=\"whatislh\"><\/a><\/p>\n<h2>1. Что такое «выученная беспомощность»  <a href=\"https:\/\/artemushanov.ru\/?go=all\/vyuchennoy-bespomoschnosti-ne-suschestvuet-vebinar-e-timonovoy\/#whatislh\"> <font color=\"silver\" size=\"2\">#<\/font><\/a><\/h2>\n<p>Есть такое понятие — «выученная беспомощность». <a href=\"https:\/\/ru.wikipedia.org\/wiki\/Выученная_беспомощность\">Википедия<\/a>:<\/p>\n<blockquote>\n<p><i>состояние человека или животного, при котором индивид не предпринимает попыток к улучшению своего состояния (не пытается избежать отрицательных стимулов или получить положительные), хотя имеет такую возможность.<\/i><\/p>\n<\/blockquote>\n<p>Эксперимент, после которого появилось это понятие, выглядел так: трех собак сажали в три разные изолированные камеры. Каждую собаку время от времени било током.<br \/>\nСобака в первой камере могла отключить ток, если нажимала на специальную пластину.<br \/>\nСобака во второй камере ничего не могла поделать и током ее переставало бить, когда собака в первой камере нажимала пластину.<br \/>\nСобака в третьей камере была контрольной, ее током не били.<\/p>\n<p>После первой фазы собак переводили в другие клетки, в которых одна из стенок заменена низкой перегородкой, ее можно было перепрыгнуть.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/artemushanov.ru\/pictures\/image-6.png\" width=\"362\" height=\"208\" alt=\"\" \/>\n<div class=\"e2-text-caption\">Молодец, собака<\/div>\n<\/div>\n<p>Собак снова били током, и собаки из первой группы (которые нажимали пластину) и из третьей, контрольной, легко перепрыгивали перегородку. Собаки из второй группы скулили и ложились на пол, перенося удары возрастающей мощности и не пытаясь выбраться.<\/p>\n<p>Такое состояние назвали выученной беспомощностью и свели к следующей логике:<\/p>\n<ul>\n<li>собаку бьет током, а потом перестает бить током<\/li>\n<li>повлиять ни на начало пытки, ни на ее окончание собака не может<\/li>\n<li>после энного количества повторений собака «научается» тому, что от нее в этой ситуации ничего не зависит и сделать ничего нельзя, и переносит эту модель на другие ситуации, в которых на самом деле можно избежать нежелательных воздействий.<\/li>\n<\/ul>\n<p>Потом испытывали на людях, нашли статистически значимое подтверждение гипотезы. Сделали вывод, что к состоянию выученной беспомощности приводит стресс, сопровождающийся отсутствием контроля и предсказуемости.<\/p>\n<p>На мышах-крысах ставили такой эксперимент: их подвергали испытанию током (как собак в первой фазе), а потом отправляли плавать в специальной емкости. Крысы из камер с кнопками дольше боролись за жизнь и барахтались, чем крысы с выученной беспомощностью — те быстро сдавались и шли ко дну.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/artemushanov.ru\/pictures\/4-Figure1-1.png\" width=\"632\" height=\"521\" alt=\"\" \/>\n<\/div>\n<p>У животных в состоянии выученной беспомощности психологи увидели явные черты того, что у людей зовется клинической депрессией.<\/p>\n<p><a name=\"wtfislh\"><\/a><\/p>\n<h2>2. Что такое на самом деле «выученная беспомощность»  <a href=\"https:\/\/artemushanov.ru\/?go=all\/vyuchennoy-bespomoschnosti-ne-suschestvuet-vebinar-e-timonovoy\/#wtfislh\"> <font color=\"silver\" size=\"2\">#<\/font><\/a><\/h2>\n<p>Спустя некоторое время исходную гипотезу опровергли.<br \/>\nОказывается, это была не выученная и не беспомощность. Ровно такое же поведение — отказ от активного поиска выхода из стрессовой ситуации — обнаружили у животных, живущих в очень тепличных условиях и никогда не подвергавшихся аналогу пытки током. Более того, в похожем состоянии пребывали детеныши некоторых животных прямо с рождения. Возникла гипотеза, что такая реакция — врожденная.<\/p>\n<p>Общий вывод: то, что называли выученной беспомощностью, это реакция на стресс, свойственная детям (и детенышам). И переход взрослого животного или человека в такое состояние — это не «выучивание» такого поведения, а наоборот, откат в детскую модель, когда взрослая вдруг оказалась несостоятельной.<\/p>\n<p>На сильный стресс есть два типа реакций: активная (бей-беги) и пассивная (замри). У многих животных детеныши реагируют замиранием в опасной ситуации, чтобы взрослые подскочили и разобрались по-своему. Ну, так эволюционно выгоднее.<br \/>\nУ людей в ситуации сильного стресса происходит откат к такой детской модели, в которой наблюдается отказ от реакции. Вызывают этот откат все те же два фактора сильного стресса — отсутствие предсказуемости и контроля над ситуацией.<\/p>\n<p>Уличные псы в исходном эксперименте вели себя во второй фазе увереннее, чем породистые собаки, воспитанные в питомниках или семьях. Они реже смирялись с бьющим их током и чаще выпрыгивали из камеры во второй фазе. Видимо, уличные псы <a href=\"https:\/\/youtu.be\/kLtQoZOnvSQ\">брали это на улицах<\/a>, учились в жесткой среде и обрели стойкость. Напрашивается вывод: значит, надо воспитывать молодежь в спартанских условиях, чтобы она обретала стойкость к сложным жизненным ситуациям? Характеризующимся утратой предсказуемости и контроля?<br \/>\nНет.<\/p>\n<p>Эксперименты-наблюдения на мышах показали следующее: мышата, выросшие в заботливых семьях, гораздо активнее и результативнее исследуют окружающий мир — у них как будто некая внутренняя опора появляется, уверенность, что есть в мире островок спокойствия, гавань, куда всегда можно причалить. А мышата из семей с родителями-пофигистами растут более тревожными и менее активными — нет у них опоры.<br \/>\nКажется, примерно об этом книга <a href=\"https:\/\/www.goodreads.com\/book\/show\/25408438\">Тайная опора<\/a> Петрановской. Сам не читал, жена читала.<\/p>\n<p><a name=\"stress\"><\/a><\/p>\n<h2>3. Про стресс  <a href=\"https:\/\/artemushanov.ru\/?go=all\/vyuchennoy-bespomoschnosti-ne-suschestvuet-vebinar-e-timonovoy\/#stress\"> <font color=\"silver\" size=\"2\">#<\/font><\/a><\/h2>\n<p>Тут кстати придутся мои полторы заметки по выпуску подкаста «Критмышь» <a href=\"https:\/\/critmouse.ru\/stress\">про стресс<\/a>:<\/p>\n<ol start=\"1\">\n<li>Стресс — это реакция организма на изменяющуюся ситуацию в окружении, реакция приспособления<\/li>\n<li>Надо разделять стресс (реакцию) и стрессор (то, что вызывает реакцию). Можно говорить о разном стрессе в ответ на разные стрессоры, можно говорить отдельно об устойчивости к стрессу как реакции, можно говорить о разной устойчивости к разным стрессорам<\/li>\n<li>Дисстресс — стресс, от которого плохо; эустресс — стресс, от которого хорошо (сильная радость)<\/li>\n<li>Прекондиционирование: «прививка» от стрессорного воздействия, подготовка к стрессорным ситуациям<\/li>\n<li>Стресс может быть стрессором («чего я постоянно стрессуюсь, ааа»)<\/li>\n<\/ol>\n<p>Итак, в у стресса есть два фактора, которые вызывают этот откат к «детской» модели поведения — утрата предсказуемости и утрата контроля.<br \/>\nЛюди помягче (но инициированные во взрослого!) борются с помощью стресса повышением предсказуемости. Люди пожестче — повышением контроля.<\/p>\n<p>Пример из страшного прошлого: в блокадном Ленинграде не сойти с ума людям помогали привычные ритуалы. Заправить постель, перемыть посуду, подмести. Таким образом в очень стрессовой и сложной ситуации люди как бы очерчивали вокруг себя зону, которую они способны контролировать, и, собственно, осуществляли над ней контроль. Это была coping-стратегия, как это сейчас называют.<\/p>\n<p>И еще кусочек про детство — это важно. Детство помнится как максимально простое, беззаботное и безопасное время из-за нейромедиаторной подпитки в тот период. Подпитка нужна, чтобы детство вообще пережить и пройти. Это самый опасный период для любого существа, тебя может сожрать почти кто угодно, а ты еще ничего не умеешь.<\/p>\n<p><a name=\"howto\"><\/a><\/p>\n<h2>4. Что делать со стрессом?  <a href=\"https:\/\/artemushanov.ru\/?go=all\/vyuchennoy-bespomoschnosti-ne-suschestvuet-vebinar-e-timonovoy\/#howto\"> <font color=\"silver\" size=\"2\">#<\/font><\/a><\/h2>\n<p>Итак, выученная беспомощность — не выученная, а врожденная, реакция и ее запускает сильный продолжительный стресс. Некто попадает в скверную ситуацию, в которой сильно снижены или отсутствуют предсказуемость и контроль, и испытывает в ответ на это стресс.<\/p>\n<p>Надо от него избавляться — общие советы такие:<\/p>\n<ul>\n<li>мириться с тем, с кем вышел конфликт (if any)<\/li>\n<li>питаться, не голодать (поел = в безопасности)<\/li>\n<li>питаться в меру, не переедать<\/li>\n<li>заниматься физической активностью — чем угодно<\/li>\n<li>дышать (выдох длиннее вдоха — включает парасимпатическую систему; дышать животом)<\/li>\n<li>обниматься (тактильный контакт с людьми провоцирует выброс гормонов)<\/li>\n<li>умываться холодной водой — тут много интересных подробностей про физиологию, можно посмотреть с <a href=\"https:\/\/youtu.be\/infg_j1mO3k?t=3673\">таймкода<\/a><\/li>\n<\/ul>\n<p>Что нужно делать, чтобы повысить устойчивость к стрессу:<\/p>\n<ul>\n<li>общаться с людьми, быть рядом с ними<\/li>\n<li>высыпаться (см. <a href=\"https:\/\/artemushanov.ru\/?go=all\/maska-i-berushi\/\">пост<\/a> про маску и беруши и <a href=\"https:\/\/artemushanov.ru\/?go=all\/chto-ya-uznal-v-dekabre-2021\/#omh\">абзац<\/a> про практики ОМХа)<\/li>\n<li>йога-медитация; флоатинг тоже норм<\/li>\n<li>социальный успех, повышение статуса в иерархии — для увеличения зоны контроля («синдром вахтера» — это стратегия борьбы со стрессом через проявление контроля)<\/li>\n<li>наведение порядка там, где есть контроль («встань прямо и уберись в комнате» — Д. Питерсон).<\/li>\n<\/ul>\n<p>Дышите. Встаньте прямо. Уберитесь в комнате.<\/p>\n",
            "date_published": "2022-03-18T19:37:56+05:00",
            "date_modified": "2024-11-21T22:48:13+05:00",
            "tags": [
                "post",
                "Джордан Питерсон",
                "наука",
                "Психология"
            ],
            "author": {
                "name": "Артем Ушанов",
                "url": "https:\/\/artemushanov.ru\/",
                "avatar": "https:\/\/artemushanov.ru\/pictures\/userpic\/userpic@2x.jpg?1722359928"
            },
            "_date_published_rfc2822": "Fri, 18 Mar 2022 19:37:56 +0500",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "132895",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": null,
                "og_images": []
            }
        }
    ],
    "_e2_version": 4079,
    "_e2_ua_string": "Aegea 11.0 (v4079e)"
}