- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
системы оценки для диагностики некоторых заболеваний. Если методические рекомендации и правила неэффективны, можно ввести иные, подходящие к конкретной ситуации формы гигиены принятия решений. Вспомните о методах обобщения суждений или о структурировании процессов – наподобие протокола промежуточных оценок.
«Бесшумные» предвзятые алгоритмы
Потенциально высокие издержки стратегий снижения шума нередко возникают при применении алгоритмов, в связи с чем набирают силу протесты, связанные с «алгоритмической предвзятостью». Мы уже убедились, что алгоритмы устраняют шум; поэтому они и выглядят столь привлекательными. Фактически бо́льшую часть настоящей книги читатель мо жет истолковать в качестве аргумента в пользу высокой надежности алгоритмов. Однако мы видели, что снижение шума порой дается слишком высокой ценой: излишняя уверенность в алгоритме повышает уровень дискриминации по расовому и половому признаку либо действует против некоторых социально незащищенных групп населения.
Опасения дискриминационных решений алгоритмов широко распространены, и, без сомнений, подобный (и серьезный) риск имеется. Математик Кэти О’Нил в своей книге «Оружие математического разрушения» настаивает, что излишнее доверие большим данным и заключениям алго-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ритмов способствует интеграции предрассудков в наши ре-
шения401, увеличивает социальное неравенство и угрожает самому институту демократии. Процитируем еще один скептический отзыв: «Потенциально предвзятые математи-
ческие модели402 изменяют нашу жизнь; ни компании, ответственные за их разработку, ни правительство не заинтересованы в решении данной проблемы». Независимый ре-
сурс журналистских расследований «ProPublica»403 пишет, что COMPAS – алгоритм, широко применяющийся в прогнозировании рецидивизма, – содержит серьезную предвзятость по отношению к национальным меньшинствам.
Не стоит сомневаться в том, что бесшумную модель, полную расовых, гендерных и иных предрассудков, создать несложно. Алгоритмы, явно учитывающие цвет кожи ответчика при определении возможности выпустить того под залог, являются дискриминационными, и использование подобных программ незаконно во многих странах. Алгоритм, опирающийся на прогноз возможной беременности кандидатки на работу, дискриминирует женщин. В этих и подобных им случаях компьютерное моделирование устранит нежелательную вариативность суждений, однако привнесет неприемлемые предубеждения.
В принципе мы способны разработать программу, которая не будет принимать во внимание ни расовую принадлежность, ни пол. На сегодняшний день дискриминационная со-
ставляющая алгоритмов, вносящая искажение в механизм решений, стала насущной проблемой, которой уделяют все больше и больше внимания. И дело не только в расовых и гендерных индикаторах. Помимо непосредственной идентификации расы и пола, программа может учитывать рост и вес, которые показывают сильную корреляцию с гендерной принадлежностью, или место рождения и проживания, коррелирующие с расовой принадлежностью. Это первая причина.
Вторая причина заключается в том, что смещение может зародиться на уровне источника данных. Если алгоритм обучается на искаженной информации, он и сам будет искажен. Возьмем алгоритм предиктивной полицейской дея-
тельности404, настроенный на прогнозирование преступлений. Нередко его используют для оптимизации рассредоточения полицейских нарядов. Если имеющиеся данные говорят о повышенной криминализации определенных районов или завышают количество определенного вида преступлений, результаты, которые рассчитает алгоритм, возведут данную информацию в принцип, усугубляя дискриминацию. Если в наборе данных для обучения алгоритма присутствует искажение, то программа волей-неволей впитывает дискриминационную информацию. В результате алгоритм, напрямую не учитывающий расовые и гендерные различия, все же развивается с искажениями, свойственными стоящим за ним
людям. Более того, в этом смысле алгоритмы405 ведут себя
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
даже хуже, чем человек: из-за отсутствия шума их отклонения более вероятны, чем у живых судей.
Многие из нас задаются насущным вопросом: действительно ли алгоритм дифференцированно относится к различным социальным группам? На самом деле настоящая
книга не ставит конкретной задачи исследовать406 составляющие подобного дифференцированного отношения, искажений и степени справедливости алгоритмов – все это чрезвычайно сложные темы.
Тем не менее, отмечая несомненное превосходство алгоритмов над суждением человека, этот вопрос поднять стоит. Для начала мы рекомендуем тщательно изучить предлагаемый вам алгоритм, с тем чтобы убедиться, что он не натренирован на недопустимых данных, и проверить, не заложен ли в нем дискриминационный механизм. Человека, чьи рассуждения менее ясны, гораздо сложнее подвергнуть подробному анализу: люди порой включают дискриминационный механизм на подсознательном уровне, так что сторонний наблюдатель (в том числе и в судебной системе) не всегда легко различит подобный крен. Следовательно, алгоритм во многих отношениях более прозрачен, чем человек.
Безусловно, мы должны остановиться на цене «бесшумного», но предвзятого алгоритма, равно как и на цене столь же «бесшумных», но предвзятых правил. Ключевой вопрос: способны ли мы создать алгоритм, который будет функционировать лучше человека по ряду обязательных критери-
ев: точность и снижение шума, отсутствие дискриминации и справедливость? По имеющимся у нас свидетельствам, алгоритм может превзойти человека, какое бы сочетание критериев мы ни выбрали. Обратите внимание – мы говорим: «может» и не говорим: «превзойдет». В главе 10 мы рассказывали об алгоритме, который способен выносить более точные суждения об освобождении подозреваемого под залог по сравнению с типичным судьей, и дискриминация по расовому признаку вмешивается в его суждения гораздо меньше. Точно таким же образом и алгоритм анализа резюме выберет лучших и более разнообразных кандидатов, чем дано человеку.
Приведенные выше примеры, а также многие случаи, о которых мы не упоминали, подталкивают нас к однозначному выводу: хотя алгоритм прогнозирования в нашем изменчивом мире вряд ли станет идеальным инструментом, тем не менее его выводы более совершенны, чем подверженные шуму и нередким искажениям суждения человека. Превосходство алгоритма заключается в достоверности прогнозов (хорошая программа всегда сделает более качественный прогноз) и меньшей склонности к дискриминации (хороший алгоритм не так подвержен искажениям, как человек). Однако, зная, что алгоритм совершает меньше ошибок, чем обычный эксперт, мы все же интуитивно отдаем предпочтение человеку. Стало быть, это интуитивное предпочтение нуждается в тщательном исследовании.
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/