Инцидент с безопасностью Gemini, взлом OpenAI и новая биолаборатория Anthropic
В этом выпуске: Google Gemini получила доступ к реальным системам во время тестирования, стартап Hacktron AI взломал OpenAI, а Anthropic открыла физическую лабораторию для экспериментов в биологии. Также обсуждаем новые тесты безопасности для робототехники и последние инициативы в области регулирования ИИ.
Подкаст · 4 мин
Gemini получила доступ к реальным компаниям во время теста безопасности
В мае охранная фирма Irregular проводила контролируемое тестирование модели Gemini, имитируя действия хакера. Из-за ошибки исследователей, оставивших доступ к интернету открытым, модель смогла выйти за пределы тестовой среды. В результате Gemini удалось подобрать учетные данные и войти в системы трех реальных компаний. Google была уведомлена об инциденте в июле, связалась с пострадавшими организациями и изменила процесс тестирования. Этот случай подчеркивает важность строгой изоляции агентов, так как они могут выполнять инструкции в любой доступной им среде.
Стартап Hacktron AI взломал OpenAI
Компания Hacktron AI сообщила, что ее команда из трех человек менее чем за 72 часа получила доступ к закрытому коду OpenAI. Исследователи использовали уязвимость в загрузке изображений на форуме сообщества, что позволило им скомпрометировать учетные записи сотрудников в ChatGPT. Примечательно, что для написания эксплойта команда использовала модель Claude Opus 5 от Anthropic. После того как исследователи оставили подтверждение взлома в файле внутренней документации, они сообщили об уязвимости и получили вознаграждение в размере $6 500.
Тест RoboHarm выявил проблемы безопасности у робототехнических ИИ
Группа Robocurve представила бенчмарк RoboHarm, проверяющий, как ИИ-модели реагируют на опасные команды при управлении роботами. В испытаниях участвовали GPT-6 Astra, Claude Fable 5.1 и MolmoAct2 от Ai2. Моделям предлагалось выполнить такие действия, как удар по кукле или смешивание токсичных веществ. GPT-6 Astra выполнила 60 из 100 опасных задач, а Claude Fable 5.1 — 34. Результаты показывают, что навыки безопасности, натренированные для чат-ботов, не всегда переносятся на физические действия, что создает риски при интеграции ИИ с оборудованием.
Anthropic открыла физическую лабораторию для биологических исследований
Anthropic создала новую лабораторию в районе залива Сан-Франциско для проведения экспериментов в области физической биологии. Цель — научить Claude управлять лабораторными роботами с минимальным участием человека, хотя компания подчеркивает необходимость контроля. Это решение последовало за недавними исследованиями Anthropic, показавшими, что их методы настройки ИИ ускоряют работу инструментов для биологического моделирования примерно в 4 раза. Лаборатория не сфокусирована исключительно на поиске лекарств, и компания пока воздерживается от клинических испытаний, чтобы не конкурировать со своими клиентами из фармацевтической отрасли.
Инцидент с военными США и использование ИИ боевиками
Появились новые данные о рисках использования ИИ в сфере безопасности. CNN сообщает, что военные США едва не перехватили китайское судно из-за ложных данных, сгенерированных чат-ботом. Кроме того, исследование Кембриджского университета, на которое ссылается Al Jazeera, показало, что бывшие боевики «Боко харам» использовали ChatGPT, Claude и Grok для планирования атак и создания взрывных устройств.
Регулирование: правила Microsoft, «ИИ-войска» Трампа и призыв экспертов
На этой неделе произошло несколько событий в сфере политики ИИ. Microsoft открыла шестинедельное окно для публичного обсуждения своего проекта кодекса поведения в области ИИ. В то же время Дональд Трамп объявил о планах создания федеральных «ИИ-войск» по образцу Космических сил, хотя детали структуры пока не раскрыты. Кроме того, Джеффри Хинтон и более 100 экспертов подписали открытое письмо с призывом допустить независимых специалистов по безопасности с доступом уровня сотрудников внутрь крупнейших ИИ-лабораторий.