Его нужно проверить.
В математике мы довольно рано привыкаем к этой неприятной мысли.
Красивое решение может оказаться неправильным.
Ответ может выглядеть совершенно естественным и при этом не следовать из условий задачи.
Более того, иногда можно получить правильный ответ совершенно неправильным способом.
И тогда возникает странная ситуация: результат верен, но мы всё равно не можем сказать, что человек решил задачу.
Именно здесь искусственный интеллект ставит перед нами вопрос, который ещё совсем недавно казался почти философской экзотикой: что, собственно, значит — понять?
Мы привыкли спрашивать, способен ли искусственный интеллект думать.
Но, возможно, вопрос поставлен слишком грубо.
Гораздо интереснее спросить, что именно мы называем мышлением, когда видим его результат.
Что значит понять?
Этим вопросом философы занимаются давно, и трудно найти более подходящего собеседника, чем Людвиг Витгенштейн.
В «Философских исследованиях» он замечает, что в большом классе случаев значение слова можно определить через его употребление в языке.
На первый взгляд это совершенно неожиданно помогает искусственному интеллекту.
Ведь если посмотреть на то, что сегодня умеют большие языковые модели, становится трудно отрицать: они исключительно хорошо освоили употребление языка. Они знают, как слова сочетаются друг с другом, как меняется смысл выражения в зависимости от контекста, каким образом один и тот же вопрос можно сформулировать на десятки разных способов.
Если значение действительно связано с употреблением, то возникает неудобный вопрос: а на каком основании мы вообще утверждаем, что машина ничего не понимает?
Здесь начинается самое интересное. Потому что Витгенштейн говорит не только о словах.
Его гораздо больше интересует человеческая практика, в которую эти слова встроены: обучение, деятельность, правила, контекст, формы жизни. Язык для него — не словарь, из которого можно вытащить правильное значение, а часть человеческого способа существования.
Может ли система, которая великолепно владеет языковой практикой, при этом не обладать тем, что мы называем пониманием?Китайская комната и её пределы
Джон Сёрл почти сорок лет назад предложил знаменитый мысленный эксперимент, получивший название «китайская комната».
Представим человека, который совершенно не знает китайского языка, но находится в комнате, где у него есть инструкции, позволяющие по одним китайским символам подбирать другие. Человек не понимает ни одного слова, но, следуя правилам, способен выдавать такие ответы, что находящиеся снаружи решат: внутри находится человек, свободно говорящий по-китайски.
Для Сёрла в этом и заключается принципиальное различие между синтаксисом и семантикой: можно правильно манипулировать символами, не понимая того, что они означают. Его исходный аргумент был направлен против отождествления правильной обработки символов с пониманием.
Когда я впервые столкнулся с этим аргументом, он казался довольно убедительным.
Сегодня всё сложнее воспринимать его как окончательный ответ.
Потому что современные языковые модели делают то, чего не делал человек в китайской комнате. Они не просто следуют небольшой таблице правил, которую кто-то положил перед ними. Они обучаются на огромном массиве человеческого языка и обнаруживают в нём связи, закономерности и зависимости, которые невозможно свести к простому набору инструкций.
Но от этого вопрос Сёрла не исчезает. Он становится даже интереснее.
Допустим, машина способна подобрать правильное слово в любом контексте.
Допустим, она может объяснить значение этого слова, привести пример, заметить иронию, исправить собственную ошибку и даже рассказать нам, почему её первоначальный ответ был неудачным.
В какой момент мы получим право сказать: «Да, теперь это уже понимание»?
И существует ли вообще такой момент?
Если система даёт правильный ответ, нам кажется, что она знает.Если она объясняет ответ, нам кажется, что понимает.
Если она способна спорить с нами, нам начинает казаться, что у неё есть собственная позиция.
Но во всех этих случаях мы судим по проявлениям. А о собственном понимании мы почему-то судим иначе.
Смысл, который мы теряем
Есть ещё одна вещь, которая постепенно начинает меня беспокоить сильнее, чем сама способность машины давать правильные ответы.
Мы слишком легко подменили вопрос о хорошем решении вопросом об оптимальном решении.
В этом нет ничего удивительного. Современная культура вообще очень хорошо научилась измерять эффективность.
Мы знаем, сколько времени занимает операция, сколько стоит производство, каков процент ошибок, насколько быстро система обрабатывает запросы, какова вероятность того или иного события. То, что можно измерить, удобно сравнивать, улучшать и продавать.
Но у эффективности есть одна неприятная особенность: она ничего не говорит о смысле цели, которую мы оптимизируем.
Можно очень эффективно двигаться в неправильном направлении.
Банк хочет уменьшить количество невозвратов. Суд хочет повысить точность оценки риска.
Школа хочет быстрее проверять работы. Компания хочет эффективнее нанимать сотрудников.
Во всех этих случаях можно довольно точно ответить на вопрос: «Работает ли система?»
Но есть другой вопрос, который почему-то задаётся значительно реже: «А то ли мы вообще оптимизируем?»
Рудольф Карнап, рассуждая о философских проблемах, настойчиво возвращался к необходимости сначала установить, имеет ли осмысленное содержание сам вопрос, который мы пытаемся решить.
Сегодня это приобретает неожиданное значение.
Искусственный интеллект способен ответить практически на любой вопрос, который мы ему зададим.
Более того, он способен сделать это так хорошо, что мы легко забываем проверить саму постановку задачи.
Машина может быть блестящим решателем задачи и одновременно совершенно не замечать, что сама задача была поставлена плохо.Более того, чем лучше она решает задачу, тем опаснее становится наша ошибка.
Предохранители эволюции
И здесь я возвращаюсь к человеку.
Человеческий интеллект неудобен.
Он медленный, противоречивый, эмоциональный. Человек забывает то, что ему только что рассказали, отвлекается, может несколько раз изменить мнение по одному и тому же вопросу. Он способен принять решение, а потом проснуться ночью и понять, что что-то в этом решении было не так.
С точки зрения эффективности это почти катастрофа.
Но, возможно, не всё, что плохо работает с точки зрения эффективности, плохо работает с точки зрения человеческой жизни.
Ханна Арендт много писала о способности человека судить — не просто применять известное правило к конкретному случаю, а соотносить частный случай с миром, в котором этот случай существует.
В этом есть важное отличие между следованием правилу и суждением.
Правило можно применить. Суждение приходится осуществлять.
Представим судью, которому система сообщает: вероятность рецидива высока.
Что должен сделать судья? Если это просто оператор системы, ответ очевиден: учесть прогноз.
Но если он действительно принимает решение, ситуация становится сложнее.
Он должен учитывать не только прогноз, но и обстоятельства конкретного человека, природу самого прогноза, цену ошибки, смысл наказания и множество вещей, которые невозможно свести к одной цифре.
Мы привыкли говорить о человеческом факторе так, будто человек — слабое звено внутри хорошо работающей системы.
Но иногда именно человеческий фактор не позволяет системе превратиться в машину, которая безупречно делает не то.
Возможно, вопрос должен звучать не так: «Как сделать ИИ более похожим на идеального рационального человека?»А так: «Какие человеческие несовершенства мы не имеем права устранить?»
Война, которую никто не хотел
Можно, конечно, объяснить происходящее человеческой жадностью. Корпорации хотят заработать.
Государства хотят получить преимущество.
Военные хотят более совершенные системы.
Учёные хотят гранты и признание.
Инвесторы хотят оказаться среди первых.
Но мне кажется, что такое объяснение слишком удобно.
Оно позволяет представить проблему как борьбу хороших людей с плохими. История гораздо сложнее. Иногда система заставляет разумных людей делать то, чего они сами по себе делать не хотели бы.
Если одна компания создаёт более мощную систему, другой становится трудно остановиться.
Если одна страна получает технологическое преимущество, другая начинает воспринимать собственное отставание как угрозу. Если один университет или исследователь использует ИИ для ускорения работы, остальные оказываются под давлением: если они не сделают того же, они потеряют темп.
Никто не обязан быть злодеем. Достаточно того, чтобы каждый считал остановку слишком рискованной.
Именно поэтому история гонки вооружений так важна для понимания искусственного интеллекта.
Американцы создают новое оружие, потому что боятся, что его создадут другие.
Другие создают его по той же причине. Каждая сторона убеждена, что действует ради собственной безопасности.
А затем обе стороны оказываются в мире, в котором накоплено столько оружия, что сама безопасность начинает выглядеть довольно сомнительным результатом.
Норберт Винер, один из основателей кибернетики, ещё в середине XX века предупреждал, что автоматизация управления создаёт совершенно новую проблему: человек может передать машине не просто выполнение действия, но и часть контроля над последствиями этого действия.
Сегодня эта мысль звучит почти пророчески.
Мы строим системы, которые должны принимать решения быстрее человека именно потому, что человек не успевает принимать их достаточно быстро.Но чем больше скорость становится ценностью, тем меньше времени остаётся на сомнение.
А система, в которой сомнение считается задержкой, постепенно начинает воспринимать самого человека как задержку.
Кто отвечает за решение?
Если вернуться к кейсам первой части книги, почти в каждом можно восстановить примерно одну и ту же цепочку.
Человек ставит задачу.
Разработчик создаёт модель. Компания определяет показатели эффективности.
Система анализирует данные и выдаёт рекомендацию.
Другой человек получает эту рекомендацию и действует на её основании.
После этого происходит событие, иногда имеющее очень серьёзные последствия.
И тогда возникает вопрос, который сначала кажется простым: кто отвечает?
Разработчик может сказать, что он всего лишь написал код.
Компания — что она использовала доступный инструмент.
Сотрудник — что он доверился системе, которая была специально создана для помощи в принятии решений.
И самое неприятное здесь заключается в том, что все они могут говорить правду.
Ответственность начинает распределяться между множеством участников так, что каждый несёт небольшую её часть, но никто не ощущает себя автором конечного решения.
Эта проблема существовала задолго до ИИ. Но искусственный интеллект способен сделать её гораздо масштабнее.
Раньше за большинством решений можно было найти конкретного человека, который в конце концов сказал: «Да, я это решил».
Теперь всё чаще появляется другая формула: «Так показала система». На первый взгляд она ничего не меняет.
Решение всё равно принимает человек. Но психологически это уже совсем другая ситуация.
Если я принимаю решение, опираясь на собственное суждение, я понимаю его как своё.
Если я принимаю решение потому, что его предложил алгоритм, возникает соблазн считать себя лишь последним звеном технической процедуры.
И здесь я снова вспоминаю Арендт. Её интересовало, как обычный человек может участвовать в страшных вещах, не воспринимая себя злодеем и даже не чувствуя, что совершает самостоятельный моральный выбор.
В этом смысле проблема ИИ может оказаться не проблемой машинной автономии, а проблемой человеческой неавтономности.
Нас пугает мысль о машине, которая однажды начнёт принимать решения самостоятельно.
Но что, если гораздо раньше этого момента человек сам перестанет принимать решения самостоятельно?
Он будет лишь подтверждать. Одобрять. Исполнять. Нажимать кнопку.
Ответственность начинается не там, где человек обладает полной информацией.И даже не там, где он принимает решение без помощи машины.
Она начинается там, где человек способен сказать: «Я знал, что мог ошибиться, но всё равно решил. И поэтому это решение — моё».
Мы измеряем не то
Иногда мне кажется, что значительная часть разговора об искусственном интеллекте сегодня напоминает ситуацию на тонущем корабле, когда пассажиры, уже понимая, что положение становится серьёзным, начинают очень подробно обсуждать устройство спасательных шлюпок.
Мы говорим об авторских правах, прозрачности алгоритмов, рекомендательных системах, цифровых аватарах, исчезновении профессий, регулировании больших моделей. Всё это действительно важно.
Но за этими вопросами постепенно теряется другой, гораздо более неприятный: а что именно происходит с человеком, когда технология начинает участвовать не только в его работе, но и в принятии решений?
Мы очень хорошо научились измерять то, что происходит внутри системы.
Насколько точна модель? Каков процент ошибок?
Насколько быстро она работает?
Сколько денег позволяет сэкономить? Но есть вещи, которые невозможно увидеть в таблице показателей.
В этом смысле мне неожиданно близка мысль Хайдеггера о технике.
Его интересовала не столько сама машина, сколько изменение отношения человека к миру, которое происходит вместе с развитием современной техники. Он вводит понятие Gestell — обычно его переводят как «постав», «обрамление» или «устройство», — имея в виду такой способ раскрытия реальности, при котором вещи начинают представать перед нами прежде всего как то, что можно упорядочить, использовать, поставить в распоряжение.
Если перевести эту довольно тяжёлую философскую конструкцию на сегодняшний язык, получится неожиданно простая вещь.
Мы начинаем видеть мир через те характеристики, которые умеем измерять. Человек становится набором вероятностей.
андидат — набором показателей. Ученик — траекторией успеваемости. Пациент — набором медицинских данных.
Гражданин — профилем поведения. Кредитополучатель — вероятностью невозврата.
А то, что не попало в модель, постепенно перестаёт существовать для самой системы.
Именно поэтому мне кажется недостаточным говорить, что алгоритм может ошибиться.
Гораздо интереснее другая проблема: что происходит с тем, что алгоритм вообще не способен увидеть? Ошибка предполагает, что существует правильный ответ, который система не смогла найти. Но если мы заранее выбрали такую модель реальности, в которой некоторые вещи не представлены, то система может работать совершенно безошибочно и всё равно давать результат, который окажется человечески неприемлемым.
Это и есть странный парадокс эффективности: чем совершеннее становится система в достижении выбранной цели, тем легче забыть, что когда-то мы сами должны были спросить, почему именно эта цель была выбрана.Мы отступили от конкретных кейсов и посмотрели на проблему шире — через философию языка, понимания, интерпретации, техники и человеческой ответственности. И здесь обнаружилось нечто более тревожное, чем отдельные ошибки алгоритмов.
ИИ ставит под вопрос не только наши решения, но и самого человека как того, кто эти решения принимает.
Мы привыкли думать, что машина — это инструмент, а человек — тот, кто ставит цель, понимает её смысл, оценивает результат и несёт за него ответственность. Но с развитием ИИ эта граница начинает размываться. Машина уже не просто выполняет сформулированную человеком задачу. Она интерпретирует язык, предлагает формулировки, выбирает аргументы, оценивает варианты и всё чаще участвует в самом процессе, посредством которого человек приходит к решению.
И тогда возникает главный вопрос: если машина всё лучше умеет находить ответ, кто должен решать, какой вопрос вообще стоит задавать?
Философия языка показывает нам, что значение не сводится к набору символов. Философия сознания напоминает, что правильное использование знаков ещё не обязательно означает понимание. Философия техники предупреждает, что технология меняет не только наши инструменты, но и способ, которым мы видим мир. А философия ответственности возвращает нас к самому человеку: решение остаётся человеческим только до тех пор, пока человек способен считать его своим.
Поэтому главная опасность ИИ может заключаться вовсе не в том, что машина однажды станет самостоятельной. Гораздо раньше этого может произойти другое: мы сами постепенно перестанем быть самостоятельными.
Мы будем всё чаще отдавать машине расчёт, поиск, формулировку, интерпретацию, прогноз и, наконец, выбор. Каждый отдельный шаг будет казаться разумным и удобным. Но в совокупности они могут привести к ситуации, в которой человек сохранит право нажать кнопку, но постепенно утратит право сказать: «Это решение принял я».
И тогда вопрос о будущем ИИ окажется вопросом не столько о том, насколько умной станет машина. А о том, какую часть собственного интеллекта, собственного сомнения и собственной ответственности мы готовы ей передать.
Потому что, возможно, настоящая война за человеческое решение начинается именно здесь.