- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
мы увидим в главе 8, это особенно важно, когда суждения выносятся группами.
К разговору о ситуативном шуме
«Суждение – как штрафной бросок: как бы точно мы ни старались его воспроизвести, оно получается немного другим».
«Ваши суждения зависят от вашего настроения, от характера предыдущих рассмотренных дел и даже от погоды. Вы не всегда являетесь одной и той же личностью».
«Хотя вы можете быть не тем, кем были на прошлой неделе, вы все же меньше отличаетесь от «вас» на прошлой неделе, чем от другого человека сегодня. Ситуативный шум – не самый значительный компонент системного шума».
Глава 8 Как группы усиливают шум
Возникновение шума в суждениях одного человека – серьезная проблема. Однако, когда суждения выносятся коллегиально, положение значительно усложняется. Групповые решения могут быть непредсказуемыми и отчасти зависеть от факторов, которые никакого значения иметь не должны. Кто начинает обсуждение, кто его завершает, кто говорит уверенно, кто одет в черное, кто занимает определенное место за столом, кто улыбается, хмурится или делает нужный жест в подходящий момент – все эти и многие другие обстоятельства могут повлиять на исход дела. Ежедневно группы, сходные по составу, принимают совершенно непохожие решения в разных сферах, будь то наем персонала, повышение по службе, закрытие подразделений, выбор коммуникационных стратегий, установление экологических стандартов, обеспечение государственной безопасности, прием абитуриентов в вузы или выпуск на рынок новой продукции.
Это может показаться странным, ведь в предыдущей главе мы говорили о том, что, если собрать суждения большого количества людей, уровень шума станет ниже. Однако из-за особенностей поведения в группах шум может возникать и в коллективных решениях. Существуют так называемые «муд-
рые толпы», чьи усредненные решения близки к истине, но
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
есть и толпы, которые поддерживают тиранов, создают пузыри на рынках, верят в чудеса или находятся в плену массовой иллюзии. Незначительные отличия могут подтолкнуть одну группу к твердому «да», а другую, практически идентичную, – к решительному «нет». Из-за тонкостей взаимоотношений между членами группы – и мы уделим этому аспекту особое внимание – уровень шума может быть довольно высоким. Это относится к шуму как в решениях схожих групп, так и в решении одной группы, чье уверенное суждение по важному вопросу – всего лишь одно из множества возможных.
Шум в музыке
Чтобы проиллюстрировать вышесказанное, мы начнем с данных из неожиданной области: с широкомасштабного ис-
следования о скачивании музыки84, проведенного Мэтью Салгаником и его коллегами. При подготовке эксперимента ученые создали контрольную группу с тысячами участников (посетителями сравнительно популярного веб-сайта). Участники контрольной группы могли прослушать и скачать одну или несколько из 72 песен, исполняемых новыми музыкальными коллективами. Названия песен были достаточно яркими: «Застрял в апельсиновой корке», «Пожирание», «Повязка на глазу», «Бейсбольный чародей v1», «Розовая агрессия». (Некоторые названия созвучны нашей проблеме:
«Лучшие ошибки», «Я ошибка», «Вера превыше ответа», «Загадка жизни», «Пожелай мне удачи», «Худшее позади».)
Участникам контрольной группы ничего не было известно о действиях других испытуемых. Они могли самостоятельно выбрать и скачать понравившиеся песни. Однако Салганик и его коллеги создали еще восемь групп, в которые случайным образом распределили тысячи других посетителей сайта. Условия эксперимента для этих участников оставались неизменными – за одним исключением: испытуемые видели, сколько человек в группе уже скачали каждую из песен. К примеру, если бы «Лучшие ошибки» пользовались в группе особой популярностью, испытуемые это увидели бы. Им также были бы видны и невостребованные аутсайдеры.
Поскольку эти восемь групп не отличались друг от друга ни по каким существенным параметрам, по сути, эксперимент повторили восемь раз. Можно предположить, что в итоге удачные песни всегда оказывались среди победителей, а слабые отправлялись вниз списка. Если бы это было действительно так, финальная расстановка песен была бы идентичной или, по крайней мере, схожей у всех групп – мы бы не увидели шума в данных. Именно это и решили проверить Салганик и его соавторы, изучив один из двигателей шума –
влияние социальной среды.
Основным результатом исследования стало полное отсутствие согласия в рейтингах песен: в решениях разных групп было очень много шума. В одной группе песня «Лучшие
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ошибки» могла иметь грандиозный успех, а «Я ошибка» – с треском провалиться. В другой «Я ошибка» могла пользоваться бешеной популярностью, а «Лучшие ошибки» остаться совершенно незамеченной. Если песня набирала популярность с самого начала, у нее были все шансы на высокий итоговый рейтинг. Если у нее не имелось такого изначального преимущества, результат мог быть совсем другим.
Справедливости ради отметим, что самые провальные песни (согласно результатам контрольной группы) никогда не становились победителями чарта, а самые популярные никогда не оказывались в аутсайдерах. В остальном же результаты были абсолютно непредсказуемыми. Авторы исследования подчеркивают: «В условиях социального влияния уровень успешности песни был менее предсказуем, чем в независимых условиях». Словом, влияние социальной среды – фактор, вызывающий значительный уровень шума в решениях всех групп. Если задуматься, можно заметить и то, что результаты внутри каждой отдельной группы тоже были зашумленными: песни легко могли бы получить совсем другую оценку в зависимости от того, насколько успешным был их старт.
Как потом продемонстрировали исследователи, результатами групповых решений довольно легко манипулировать,
поскольку популярность способна упрочивать сама себя 85. В последующем эксперименте, разработанном с дьявольским лукавством, ученые перевернули рейтинг, полученный кон-
трольной группой (другими словами, дали ложную информацию о степени популярности песен), и теперь самые популярные песни представлялись испытуемым самыми невостребованными – и наоборот. Затем экспериментаторы проследили за дальнейшими действиями посетителей веб-сай- та. В результате наименее успешные песни набрали популярность, а бывшие победители просели. В очень больших группах популярность и невостребованность только укрепили свои позиции, даже несмотря на то, что исследователи вводили испытуемых в заблуждение. Единственным исключением стала песня, одержавшая победу в контрольной группе: она все же смогла со временем подняться, что означает, что даже перевернутый рейтинг не смог помешать лучшей песне добиться успеха. Однако в значительной мере перевернутый рейтинг помог определить итоговый результат.
Несложно представить, как эти исследования отражают суть коллективных суждений в целом. Предположим, небольшая группа из 10 экспертов решает, стоит ли претворять в жизнь некую смелую инициативу. Если обсуждение откроют один или два сторонника этой идеи, у них будут хорошие шансы повести за собой всю группу. То же самое будет справедливо, если обсуждение начнется с выступления скептиков. По крайней мере, так должно случиться, если на людей влияет мнение окружающих – а обычно это именно так. Поэтому схожие группы могут в итоге вынести очень разные суждения просто из-за порядка, в котором высказы-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/