От «Энигмы» до ChatGPT

Предвзятость автоматизации

Так или иначе каждый из нас сталкивался с этим феноменом. Например, когда мы управляем автомобилем, услужливый голос «Алисы» говорит, что через двести метров надо повернуть налево; и мы послушно поворачиваем, хотя знаем, что если ехать прямо, то дорога будет короче. Когда пишем письмо и почтовый клиент указывает на ошибку в расстановке запятых, мы доверяем ему и вносим коррективы, хотя помним правила, которым нас учили, и они говорят совсем иное. Фитнес-трекер, показывающий вместо десяти тысяч шагов всего восемь, подталкивает нас пройти еще два-три километра, хотя тело кричит, что устало.

Каждый из нас хотя бы раз доверял умной машине больше, чем себе, особенно когда представленная информация противоречила опыту или чувствам. Чаще всего решение принимается в пользу машины, даже вопреки здравому смыслу. Вольтер был прав, говоря, что здравый смысл не так уж и распространен.

Еще в 1990 году компания Deloitte обратила внимание на такое явление, когда автоматизация снижает общий уровень ошибок, но при этом увеличивает их количество среди допущенных человеком. Если автоматика сокращает ошибки в целом, но человек начинает допускать их чаще, это может привести к серьезным последствиям, особенно в таких местах, как атомные станции.

Автоматизация идеальна для рутинных операций, но опасна, если на нее слишком полагаться. Отдавая рутинные задачи на откуп машинам, мы снижаем умственную нагрузку, что может привести к потере понимания происходящего. Надеяться на то, что мы избежим чрезмерного доверия к автоматизации, было бы наивно. Мы уже полагаемся на навигатор за рулем, автокорректор при написании текстов и счетчик калорий в спорте. Возможно, мы не глупеем, но точно становимся менее внимательными.

Чрезмерное доверие к алгоритмам может привести к ошибкам из-за бездействия или неправильных действий. Внимание, необходимое для принятия решений и решения проблем, рассеивается, что может стать причиной возникновения опасных ситуаций.

Если большинство процессов автоматизированы, то возникает последний вопрос: изменилась ли роль человека с появлением все более умных машин?