Искусственный интеллект ошибается редко.

Но когда он ошибается, ошибка редко выглядит как ошибка.

Она выглядит как корректное рассуждение: гладкая формулировка, аккуратные шаги, уверенный вывод.

И именно поэтому её так трудно заметить.

В этом разделе собраны документально подтверждённые случаи, когда ИИ получил право принимать решения — и что из этого вышло.

Это не гипотетические сценарии и не философские мысленные эксперименты.

Это реальные ситуации: в суде, в банке, в больнице, в полиции, в школе, в магазине.

Десять кейсов из разных областей, в каждом из которых произошло одно и то же: запрос был сформулирован как задача оптимизации, ИИ интерпретировал его буквально, а результат оказался не тем, что ожидали.

Разборы показывают не то, что «ИИ глупый».

Они показывают нечто более важное: машина делает именно то, что мы ей сказали, — но не то, что мы имели в виду.

И в этом разрыве между сказанным и подразумеваемым скрывается главная проблема эпохи ИИ.

Материалы этого раздела — глава из книги, работа над которой ведётся нами сейчас.

Это документальное расследование / исследование того, как мы (очень быстро) передаём машинам право решать за нас

Книга посвящена одному вопросу: что происходит, когда человек передаёт машине не просто вычисления, а право определять, что значит «хорошее решение».

В книге три части.

Первая — «Полицейское досье» — документальные кейсы.

Вторая — попытка осмыслить, что за этим стоит: почему машины делают именно то, что мы им сказали, и почему результат оказывается не тем, что мы ожидали.

Третья — размышление о том, как нам сохранить право принимать решения за себя.