Я математик.
Поэтому привык делать с ответом довольно простую вещь: проверять его.
Когда появился искусственный интеллект, сначала всё было именно так. Машина решала задачи, писала код, объясняла теоремы, строила графики. Иногда ошибалась. Иногда очень убедительно ошибалась.
В этом не было ничего особенно нового: люди тоже ошибаются.
Проблема началась в тот момент, когда выяснилось, что машина умеет не только отвечать.
Она умеет принимать важные для нас решения.
И тогда у меня возник совершенно практический вопрос: если решение принято машиной, кто отвечает за его последствия?
Я начал разбираться. И довольно быстро обнаружил, что за этим вопросом стоит другой. А что это вообще значит — принять решение? И кто его принимает?
КТО РЕШАЕТ?
Я начал писать большую книгу про всё это. С эпиграфом - Я всего лишь хотел понять, почему люди так легко доверяют машинам
Отрывки из неё буду выкладывать здесь — по мере того, как они будут готовы.
Это не научная монография и не популярный обзор. Это попытка разобраться, что происходит с человеком в тот момент, к огда машина начинает участвовать не только в его работе, но и в принятии решений.
И еще - эта книга — расследование, которое начинается с конкретных ситуаций, а заканчивается вопросом, который нельзя решить никакой следующей версии ИИ-модели: кто тот, кто задаёт вопрос?
Трудные вопросы об ИИ
Ниже — вопросы, на которые у меня нет окончательных ответов. Я не предлагаю их решить. Я предлагаю над ними думать.
Кто отвечает за решение, принятое машиной?
Разработчик говорит, что он написал только код. Компания — что использовала доступный инструмент. Сотрудник — что доверился системе, созданной для помощи в принятии решений. И все они могут говорить правду. Ответственность распределяется так, что каждый несёт небольшую её часть, но никто не ощущает себя автором конечного решения. Что происходит с ответственностью, когда она распределена между множеством участников? И можно ли вообще говорить об ответственности в системе, где никто не может сказать: «Это решил я»?
Что значит — принять решение?
Мы привыкли думать о решении как об акте: сначала я думаю, потом решаю, потом действую. Но нейробиология уже несколько десятилетий говорит нам, что решение принимается до осознания. Потенциал готовности возникает за 300–500 миллисекунд до того, как человек сообщает, что «решил». То есть мозг начинает действовать раньше, чем «я» узнаёт о решении. Что это значит? Переживание «я решил» — есть. Оно реально. Но является ли оно причиной действия — или только комментарием постфактум? И если решение — не акт, а функция, то кто её выполняет?
Может ли машина понимать?
Большие языковые модели блестяще владеют употреблением языка. Они знают, как слова сочетаются друг с другом, как меняется смысл выражения в зависимости от контекста, как один и тот же вопрос можно сформулировать десятками способов. Если значение слова определяется через его употребление — а именно так утверждал Витгенштейн — то на каком основании мы говорим, что машина ничего не понимает? И если мы всё-таки говорим это, то что именно мы называем пониманием? Достаточно ли внешне правильного поведения, чтобы говорить о внутреннем понимании? И существует ли вообще тот момент, когда мы получим право сказать: «Да, теперь это уже понимание»?
Кто интерпретирует интерпретатора?
Человек говорит машине, что нужно сделать. Машина интерпретирует человеческую формулировку. Затем человек интерпретирует ответ машины. Но если результат оказывается неожиданным, кто может сказать, на каком именно этапе возникло расхождение? Возможно, машина неправильно поняла задачу. Возможно, человек плохо сформулировал её. Возможно, сама задача была поставлена на основе неверного представления о реальности. А возможно, проблема в том, что слово, которое казалось нам совершенно понятным — «справедливость», «риск», «качество», «успех» — никогда и не имело того единственного значения, которое мы попытались в него вложить.
Что мы не имеем права делегировать?
Технические возможности ИИ растут быстро. То, что вчера казалось невозможным для машины, сегодня уже работает. Поэтому бессмысленно составлять список того, что ИИ «не умеет» — он устареет через месяц. Но можно задать вопрос иначе: есть ли вещи, которые не делегируются в принципе, независимо от того, насколько умной станет машина? Постановка вопроса? Выбор критерия «лучшего»? Ответственность за решение? Решение о том, что считать доказательством? Право сказать «нет»? Если такие вещи есть — они и должны стать ядром границ делегирования. Но как отличить подлинное «нельзя делегировать» от временного «пока не умеет»?
Кто тот, кто задаёт вопрос?
Мы привыкли спрашивать, способен ли искусственный интеллект думать. Но, возможно, вопрос поставлен слишком грубо. Гораздо интереснее спросить, что именно мы называем мышлением, когда видим его результат. Если система даёт правильный ответ, нам кажется, что она знает. Если она объясняет ответ, нам кажется, что понимает. Если она способна спорить с нами, нам начинает казаться, что у неё есть собственная позиция. Но во всех этих случаях мы судим по проявлениям. А о собственном понимании мы почему-то судим иначе. И тогда возникает вопрос, который нельзя решить никакой следующей версией модели: кто тот, кто задаёт вопрос? Кто тот, кто проверяет ответ? Кто тот, кто решает?
Приглашение к разговору
Эти вопросы открыты. У меня нет на них окончательных ответов. Если вы хотите обсудить их — написать отклик, предложить свою формулировку, возразить — я буду рад. Лучшие отклики можно будет публиковать на сайте с указанием авторства. Разговор об этом не должен оставаться в одиночестве.
НАПИСАТЬ АВТОРУ >