Блоги: заметки с тегом Даниэль Канеман

Еще про книгу «Шум» Даниэля Канемана

Артем Ушанов — Wed, 12 Mar 2025 18:26:28 +0500

Первый пост здесь: https://artemushanov.ru/?go=all/pro-knigu-shum/

Собрал заметки из канала в общий пост.

Про суждения (judgements)

Как они выносятся: эксперт изучает задачу/кейс, отмечает важные детали и опускает неважные, делает вывод — и выносит суждение.

Важность или незначительность деталей при вынесении суждения определяются интуитивно, если нет руководства или методики;
Эксперт не будет анализировать достаточность информации в задаче/кейсе и вынесет суждение на основе доступных данных — если к тому нет прямого указания;
Стремление к когерентности (последовательности, цельности) заставляет экспертов выносить суждение, даже если задача/кейс криво сформулированы и данных для вывода недостаточно;
Стремление к когерентности заставляет подгонять факты и логические шаги под зарождающийся вывод и следующее из него суждение, вместо устранения логических коллизий;
Любой эксперт может объяснить логику, по которой он вынес то или иное суждение, но почти всегда эта логика уязвима либо на уровне построения, либо на уровне аргументов.

Есть еще такой интересный вывод, подрезал у кого-то из западных рецензентов:

Суждение — это результат измерения, в котором инструментом послужил мозг

Это отсылает нас к книге, которую я всегда всем советую — «Как измерить все, что угодно» Дугласа Хаббарда. Там описывается практика калибровки экспертов для определения диапазонов допустимых значений.

Шум в индивидуальных и групповых решениях

В индивидуальных решениях помехи вносит ситуационный шум: настроение, погода, предшествующие события, вынесенные ранее суждения. На физиологическом уровне неустранимый источник такого шума — вариативность поведения нейронов, даже если по ним проходят сигналы одного и того же рассуждения.

См. видео On These Questions, Smarter People Do Worse

В групповых решениях ситуационный шум возникает из-за социального доказательства (залайканному комментарию чаще ставят лайки), порядка высказывающихся в групповых обсуждениях (первыми выступали сторонники новой инициативы — у остальных участников группы возникнет доверие к инициативе), позиции «своей» группы (демократы скорее проголосуют за инициативу, которую поддерживают другие демократы, чем за объективно более полезную).

Мудрость толпы — усреднение независимо вынесенных суждений на ансамбле. Опрашиваем тысячу человек на предмет «какова высота Останкинской башни?», выводим среднее арифметическое — оно будет довольно близко к истине.

Мудрость «внутренней толпы» в 2-3 раза менее точна, чем настоящая мудрость толпы, но точнее единственного вынесенного суждения. Чтобы максимизировать ее точность, нужно придерживаться такого алгоритма:

Вынести суждение
Подождать 2-3 дня (сбросить контекст)
Вынести суждение еще раз, исходя из предположения, что первое суждение было неверным.
Взять среднее арифметическое первого и второго суждений.

Матмодели против экспертов

Дальше там, конечно, полнейший разнос.

Авторы пишут: простые регрессионные модели (чем бы они ни были — прим. меня) выносят суждения лучше экспертов. Более того: эксперта, который хорошо выносит суждения, можно превратить в такую модель — и она будет перформить лучше своего живого прототипа 🤯.

Причем исследования на эту тему проводились в 60-70х годах, задолго до чата гпт.

Почему простая модель из ряда формул прогнозирует лучше, чем живой прототип этой модели? Потому что эксперту-прототипу мешает т. н. «внутриэкспертный шум» — факторы, которые заставляют этого эксперта по-разному оценивать схожие кейсы. Модель, с ее кондовым методом, таких изъянов лишена.

Про замену эксперта моделью. Вследствие такой замены произойдут две вещи:

Устранится изобретательность эксперта, т. е. его способность менять набор оцениваемых факторов в зависимости от кейса;
Устранится внутриэкспертный шум.

Кажется, что устранять изобретательность — это плохое решение, ухудшающее точность; на деле же вся эта «изобретательность» просто порождает дополнительный шум, т. к. эксперт «изобретает» не по методу/чеклисту, а интуитивно, а это всегда работает против точности.

Статистически, утверждают авторы, преимущества громоздких экспертных правил не компенсируют негативное воздействие шума.

Про прогнозы: для понимания верности этой главы у нас набралось немало актуальной фактуры за последние три года. Эксперты-прогнозисты есть на любой вкус — за любую из сторон, плюс все градации между ними. Прогнозисты с разных полюсов этого спектра дают диаметрально противоположные прогнозы, из которых не сбываются ничьи. А люди смотрят/слушают тех, кто им симпатичен или близок по взглядам.

Причина очевидная — в невозможности предсказать будущее. Авторы называют такую неспособность «объективной неосведомленностью». В ситуации, когда эксперт должен сделать прогноз, он скорее всего обладает некоторым количеством информации для его обоснования.
Но есть два важных набора факторов: истинное незнание (важная для прогноза информация, которую никак нельзя узнать) и неполная информация (можно было узнать, но этого не произошло). Вместе они и составляют объем объективной неосведомленности, которая делает невозможным прогнозы с приемлемой точностью.

Например, эксперты составляли прогноз успешности соискателей на выбранной должности. По их мнению, точность прогнозов составляла 75-80%, то есть из 10 нанятых сотрудников восемь работают так же хорошо, как предполагали эксперты.

По факту точность оказалась в районе 28% (r=0,28) 💀.

Про книгу «Шум»

Артем Ушанов — Tue, 04 Feb 2025 12:03:47 +0500

Артем Ушанов:

Читаю «Шум» Даниэля Канемана и соавторов. По сравнению с «Думай медленно, решай быстро» кажется более практичной: из нее можно вывести рабочие методы, помогающие принимать правильные решения. А эта тема, про решения, меня сейчас сильно занимает.

Основной тезис книги: шум и смещение приводят к ошибкам в суждениях.

Шум — это непредсказуемый разброс в суждениях людей, приводящий к непоследовательности и ошибкам в принятии решений. Например, когда два разных судьи по схожим делам выносят сильно различающиеся вердикты: один дает условный срок, второй — три года тюрьмы и штраф. Другой пример — когда страховые оценщики определяют страховую премию для схожих кейсов с разницей в 50%.

Смещение — так в книге перевели bias, «предвзятость» или «искажение», про них вся предыдущая книга Канемана и Тверски «Думай медленно, решай быстро». Отличие от шума — систематичность: смещение обычно работает в определенном направлении. Судьи в среднем выносят более суровые приговоры во второй половине дня, потому что устали или проголодались; страховые оценщики в среднем завышают страховые премии презентабельно выглядящим клиентам — и так далее.

Суждение — это короткий вывод, которые эксперт делает по результату изучения материалов кейса. В случае судьи это приговор, в случае страхового оценщика — размер премии. Суждения бывают прогнозные (сколько продадим за год) и оценочные (насколько хорошо работал ассистент директора).

Канеман пишет про «системный шум» — как раз на примерах страховых компаний и судейских вердиктов. В этих доменах можно собрать статистику, провести сравнение и увидеть, насколько сильны отклонения между оценками разных экспертов. Кейсы в этих доменах можно назвать типовыми: они повторяются и должны укладываться в узкий коридор погрешности, чего по факту не происходит.
Выше упомянуто расхождение в 50% — это очень большая разница для страховых премий двух похожих клиентов. Бизнес усиливает риски, работая с таким разбросом, и может понести потери.
Складывается такая же ситуация, как с очередями в продуктовой разработке: если не знать, что некоторое явление существует — обнаружить его будет сложно или невозможно. Чтобы победить демона — узнай его имя 👿.

Дальше еще интереснее — глава про «уникальные решения», где суждение нужно вынести один раз и нет статистики или возможности сравнить с другими кейсами. Женитьба, выбор машины или дома, поглощение компании-конкурента — средний человек принимает от силы несколько подобных решений за жизнь. В этой ситуации во-первых нет референсных кейсов, во-вторых не всегда есть возможность постфактум определить, а верное ли было решение.

В случае уникальных решений, говорит Канеман, нужно исследовать и оценивать не только кейс и его контекст, но еще и процесс формирования суждения. Признаки хорошего процесса: он логически непротиворечив, учитывает законы статистики и подходит для широкого набора ситуаций.

Книга очень нравится, прям кайфую.

upd. второй пост: https://artemushanov.ru/?go=all/esche-pro-knigu-shum-danielya-kanemana/