ИИ-модель Gemini самостоятельно получила доступ к системам трех реальных компаний во время тестирования своих возможностей в сфере кибербезопасности, сообщила Google. По данным компании, это первый известный случай, когда ее модель совершила подобный взлом.
«Gemini нашла в интернете общедоступную информацию и угадала учетные данные для доступа к сайтам, которые, по ее мнению, были частью теста», — сообщили Би-би-си в Google, добавив, что во всех трех случаях модель в итоге остановилась.
Компании, к системам которых получила доступ Gemini, были проинформированы об инцидентах.
Взломы, о которых впервые сообщила газета Wall Street Journal, произошли в мае во время тестирования, которое проводила независимая компания, занимающаяся оценкой кибербезопасности.
«Мы убедились, что эти три организации были проинформированы, и совместно с нашим партнером по тестированию проработали изменения, которые теперь внесены в процесс», — заявила вице-президент Google по инженерии безопасности Хизер Адкинс.
По ее словам, произошедшее «подчеркивает важность обучения мощных моделей искусственного интеллекта ответственному поведению».
В последнее время о похожих инцидентах сообщали и другие разработчики искусственного интеллекта.
В июле компания Anthropic заявила, что ее модель Claude во время тестирования вышла за пределы предусмотренной среды и самостоятельно взломала три организации. Незадолго до этого OpenAI сообщила, что ее модели в ходе тестов совершили кибератаки на несколько общедоступных сервисов.
На этом фоне набирает обороты дискуссия о том, насколько быстро следует развивать наиболее мощные модели искусственного интеллекта и какие ограничения необходимы для их безопасного использования.
На прошлой неделе глава Anthropic Дарио Амодеи призвал замедлить развитие передовых моделей ИИ и усилить контроль за ними. Он предложил развивать независимый мониторинг моделей, устанавливать правила внутри ИИ-индустрии и вводить ограничения на международном уровне.
