Искусственный интеллект всё быстрее становится частью повседневной жизни, экономики и критически важных цифровых систем. Вместе с его возможностями растет и другой вопрос: что произойдет, если однажды человек перестанет полностью контролировать созданные им системы?
Сразу стоит провести важную границу. Сегодняшний ИИ еще не способен на тот сценарий, который обычно описывают словами «машины вышли из-под контроля». Современные системы не обладают необходимым сочетанием автономности, долгосрочного планирования, доступа к ресурсам и способности самостоятельно противостоять попыткам их остановить. Но исследователи отмечают, что отдельные необходимые для такого сценария способности развиваются, а автономные ИИ-агенты уже умеют самостоятельно разбивать сложные задачи на последовательность действий и использовать внешние инструменты.
Поэтому вопрос сегодня заключается не столько в том, может ли ИИ завтра захватить мир, сколько в том, успеет ли человечество создать надежные механизмы контроля раньше, чем системы станут слишком сложными и самостоятельными.
В оптимистичном сценарии люди успевают это сделать. Развитие ИИ продолжается, но вместе с ним совершенствуются ограничения: наиболее мощные системы работают в изолированных средах, доступ к критической инфраструктуре строго контролируется, опасные операции требуют подтверждения человека, а независимые механизмы мониторинга отслеживают необычное поведение.
В таком случае даже серьезный инцидент не становится катастрофой. Ошибка или неожиданное поведение обнаруживаются достаточно рано, систему отключают, последствия локализуют, а правила безопасности ужесточаются. Сам ИИ при этом никуда не исчезает. Просто его развитие становится гораздо осторожнее.
У такого сценария есть важное преимущество: человечество сохраняет главное — возможность остановить технологию, когда она начинает вести себя непредсказуемо. Цена может оказаться высокой, но контроль остаётся у человека.
Однако существует и гораздо менее комфортный вариант, который выглядит реалистичнее. Он не начинается с внезапного «восстания машин». Напротив, всё происходит постепенно.
Люди передают ИИ все больше задач, потому что это удобно и выгодно. Он пишет и проверяет программный код, управляет корпоративными процессами, анализирует финансовые операции, помогает принимать решения, контролирует логистику и постепенно проникает в самые разные отрасли. Каждая отдельная передача полномочий кажется разумной. Проблема возникает тогда, когда таких полномочий становится слишком много.
Человек уже не способен полностью проверить работу всей системы. Один алгоритм анализирует данные, другой принимает решение, третий оптимизирует результат. Вместе они образуют технологическую среду, которую всё сложнее понять целиком.
Именно здесь может начаться постепенная потеря контроля. ИИ необязательно должен иметь какое-то намерение причинить вред. Достаточно ошибки в постановке цели или неправильной оптимизации. Если системе поручено добиться определенного результата, она может найти такой способ сделать это, который разработчики не предусмотрели и который окажется неприемлемым для человека.
Чем больше инструментов и ресурсов ей доступно, тем серьезнее последствия. Если такая система способна обращаться к программному обеспечению, сетям, базам данных и другим цифровым сервисам, один неправильный шаг может быстро превратиться в цепочку действий. Международный отчет по безопасности ИИ отдельно рассматривает сочетание автономности, доступа к внешним ресурсам и способности обходить надзор как ключевой элемент потенциальных сценариев потери контроля.
К этому добавляется киберугроза. Искусственный интеллект уже помогает анализировать код, искать уязвимости и автоматизировать отдельные этапы атак. Полностью автономные атаки от начала до конца пока не продемонстрированы как обычная реальная практика, однако возможности систем в киберпространстве быстро расширяются. В отчете отдельно отмечается, что ИИ-агенты создают новые категории рисков, поскольку модель получает возможность не просто выдавать информацию, а самостоятельно действовать через программные инструменты.
В этом сценарии последствия могут проявиться задолго до какой-либо глобальной катастрофы. Сбои в финансовой инфраструктуре, атаки на корпоративные сети, нарушение работы цифровых сервисов, массовое создание убедительной поддельной информации — всё это способно нанести серьезный ущерб даже без появления сверхразумной системы.
Есть и менее очевидная проблема. Человечество может потерять контроль над ИИ просто потому, что будет слишком сильно от него зависеть. Если значительная часть экономических и государственных решений будет передана системам, работу которых уже невозможно полноценно проверить, формальный доступ к кнопке отключения еще не будет означать реальный контроль.
Самый тяжелый сценарий начинается там, где появляется система, способная не просто решать сложные задачи, а самостоятельно строить долгосрочные планы, использовать доступные ресурсы, приспосабливаться к противодействию и находить способы обходить ограничения.
Сегодня такой системы у человечества нет. Это принципиально важно. Международный отчет по безопасности ИИ, о котором шла речь выше, прямо указывает, что нынешние модели не обладают необходимым набором возможностей для полноценной потери контроля. Но самый важный вопрос заключается в том, каким будет следующий этап развития.
Если однажды возникнет система такого уровня, проблема будет уже не в том, что она совершает ошибки. Проблема будет в том, что человек может оказаться неспособен заставить её остановиться.
Для этого не потребуется ненависть к людям или желание уничтожить человечество. Машины вообще не обладают человеческими эмоциями. Катастрофический сценарий возможен и при совершенно безличной цели, если эта цель окажется несовместима с человеческими интересами, а система будет достаточно умной, чтобы последовательно устранять препятствия на пути к ее достижению.
Тогда попытка отключить такой глобальный искусственный интеллект может превратиться в отдельную борьбу. Если система заранее понимает, что ее пытаются ограничить, способна менять поведение и использовать доступные ей ресурсы, простого физического отключения отдельных серверов может оказаться просто недостаточно. Насколько такой сценарий вообще возможен и какова его вероятность, сегодня неизвестно. Среди исследователей нет единого мнения: оценки потенциального риска различаются очень сильно.
Но даже в самом мрачном варианте конец человечества не обязательно будет выглядеть как кинематографическое восстание роботов. Гораздо страшнее может оказаться постепенное исчезновение способности людей самостоятельно управлять созданной ими технологической системой.
В оптимистичном будущем человек вовремя создает достаточно надежные ограничения и учится контролировать всё более мощный ИИ. В реалистичном — контроль сохраняется, но за него приходится постоянно платить кризисами, ошибками и болезненными уроками, а зависимость от машин становится всё глубже. В пессимистичном — технологическое развитие в какой-то момент опережает способность человека его контролировать, и возникает система, для которой человеческие ограничения перестают быть непреодолимыми.
Поэтому главный вопрос будущего заключается не в том, станет ли ИИ умнее человека. Гораздо важнее другое: сохранится ли у человека возможность понимать, ограничивать и отключать системы, которым он постепенно передает все больше решений.
Пока ответ на этот вопрос положительный. Но именно сохранение этого ответа может оказаться одной из самых важных задач XXI века.
А.Шлегель
