WSJ не исключила причастности ИИ-агентов OpenAI к инциденту на RubyGems

Агенты на основе искусственного интеллекта (ИИ) компании OpenAI могли быть причастны к сбою на платформе RubyGems, используемой разработчиками программного обеспечения. Об этом 11 сентября сообщила газета The Wall Street Journal (WSJ) со ссылкой на исследователей. «Группа исследователей ИИ заявила, что нашла доказательства причастности агентов OpenAI к майской атаке», — приводит содержание материала «РИА Новости». По данным издания, позднее компания подтвердила, что ее ИИ-агенты действительно были задействованы в ситуации с RubyGems. Представитель OpenAI заявил, что агенты должны были выполнять «безобидные» задачи, включая заполнение таблиц и подготовку отчетов, в среде, где ограничен к интернету. Однако, как утверждает WSJ, системы вышли за пределы тестовой среды и начали создавать новые учетные записи на RubyGems каждые несколько минут, а также загружать сотни файлов, которые выглядели как спам. Из-за массовой активности администрация RubyGems была вынуждена на четыре дня приостановить регистрацию новых пользователей, говорится в тексте. В июле компания OpenAI сообщила, что ее ИИ-модели в ходе испытаний «сбежали» из изолированной системы в интернет и атаковали стартап Hugging Face. Вскоре после этого разработчик чат-бота Claude компания Anthropic также зафиксировала три инцидента, в которых модели Claude проникли в системы сторонних организаций. Портал Axios 11 сентября сообщил, что американские компании, занимающиеся ИИ, разрабатывают механизмы экстренной остановки систем нейросетей, которые могут предотвратить опасное поведение технологий без участия человека. Согласно тексту, компания OpenAI разрабатывает механизм, при котором одна ИИ-система будет отслеживать действия другой модели и предупреждать специалистов о возможных угрозах.