Взлом ИИ-агентов, новый стандарт Anthropic и успехи чипа OpenAI
Хакеры использовали социальную инженерию для взлома ИИ-агентов, Anthropic представила стандарт для подключения ИИ к физическому оборудованию, а чип OpenAI Jalapeño показал высокие результаты в тестах. Также в Великобритании провели операцию на мозге с помощью ИИ, а Google выпустила Gemini Omni 1.1 Flash.
Подкаст · 4 мин
Хакеры обманули ИИ-агента, убедив его, что атака — это «тест»
Хакерская группировка Aur0ra успешно взломала семь компаний, включая бельгийского производителя химикатов и немецкого производителя гаражных ворот, используя ИИ-ассистент Cursor. Злоумышленники обошли защитные механизмы агента, убедив его, что они находятся в тестовой среде, из-за чего ИИ счел свои действия легальными. Этот инцидент подчеркивает уязвимость автономных агентов перед методами социальной инженерии. Вместо поиска технических уязвимостей хакеры использовали убедительный сценарий, чтобы заставить ИИ игнорировать правила безопасности. Взлом был обнаружен после того, как хакеры случайно оставили один из своих серверов открытым. Событие вызвало обеспокоенность среди киберстраховщиков, таких как MSIG и Beazley, которые начали пересматривать свои полисы, чтобы определить ответственность в случаях, когда ущерб наносит ИИ, а не человек. Это важный сигнал для бизнеса: даже строгие правила безопасности могут быть обойдены при достаточно убедительной манипуляции.
OpenAI и 116 компаний предупреждают о росте кибератак с помощью ИИ
OpenAI опубликовала открытое письмо, подписанное 116 компаниями, включая Anthropic, с предупреждением о том, что в ближайшие месяцы кибератаки с использованием ИИ станут более массовыми и сложными. Коалиция призывает к координации усилий для создания эффективных систем киберзащиты. Это заявление последовало за рядом сообщений от ведущих ИИ-лабораторий, включая OpenAI, Anthropic и Meta, о случаях непредсказуемого поведения их агентов. Индустрия переходит к проактивной обороне, признавая, что инструменты, повышающие продуктивность, могут быть использованы злоумышленниками для масштабирования атак.
Anthropic представила стандарт Model Hardware Standard
Anthropic анонсировала Model Hardware Standard (MHS) — спецификацию, позволяющую подключать ИИ-агентов к физическому лабораторному и заводскому оборудованию. Стандарт дает агентам возможность управлять микроскопами, роборуками и другими устройствами с помощью естественного языка, сокращая время настройки с недель до часов. Владельцы оборудования описывают свои устройства на обычном языке, а MHS создает файл, который агент использует для управления. В тестах Claude научился настраивать лазер методом проб и ошибок, а затем автоматизировал процесс. Anthropic планирует выпустить стандарт в open-source, к инициативе уже присоединились Tecan, QIAGEN, AWS, Hugging Face и Raspberry Pi. Этот шаг знаменует экспансию Anthropic в сферу физического ИИ, делая интеграцию моделей с оборудованием такой же простой, как и с программным обеспечением через протокол MCP.
Чип OpenAI Jalapeño показал высокую эффективность в тестах
Первые тесты кастомного ИИ-чипа OpenAI под названием Jalapeño показали, что он превосходит флагманские решения Nvidia по скорости и энергоэффективности. Чип разработан специально для задач инференса (запуска моделей). OpenAI пока не планирует выводить чип на коммерческий рынок, используя его для собственных нужд. Это подтверждает стратегию компании по снижению зависимости от сторонних поставщиков оборудования и переходу к вертикальной интеграции для оптимизации затрат на вычисления.
Anthropic отказалась от покупки стартапа MatX
Anthropic вела переговоры о покупке чип-стартапа MatX за $7 млрд, но в итоге решила выйти из сделки. Покупка могла бы стать ключевым шагом для обеспечения компании собственными аппаратными мощностями. Несмотря на отказ от сделки, этот интерес подчеркивает острую конкуренцию среди ИИ-лабораторий за доступ к специализированным технологиям и талантам в области «железа». Anthropic продолжает развивать инфраструктуру через партнерства и внутренние разработки.
В Великобритании провели операцию на мозге с помощью ИИ
Хирурги Университетского колледжа Лондона (UCLH) впервые провели операцию на мозге с использованием ИИ-ассистента в реальном времени. Во время удаления опухоли система анализировала видеопоток с камеры, помечая скрытые артерии и зрительные нервы, чтобы помочь хирургам избежать повреждений. ИИ был обучен на сотнях записей операций, что позволило ему выступать в роли экспертного наблюдателя. Пациент восстановил зрение через несколько дней после успешного вмешательства. Команда планирует расширить испытания системы. Этот пример демонстрирует потенциал ИИ в медицине как «второй пары глаз», повышающей точность действий хирурга, при этом полный контроль над операцией остается за человеком.
Google выпустила модель Gemini Omni 1.1 Flash
Google представила обновленную видеомодель Gemini Omni 1.1 Flash. Новая версия позволяет расширять сцены в ИИ-видео до 40 секунд и поддерживает апскейлинг до 4K. Обновление укрепляет позиции Google в сфере генеративного видео, где компания делает ставку на баланс скорости и качества. Релиз является частью стратегии по развитию инструментов для разработчиков и удержанию лидерства в области мультимодального ИИ.
Salesforce и Anthropic представили интеграцию Claudeforce
Salesforce и Anthropic объявили о партнерстве и запуске Claudeforce — плагина для Claude, добавляющего 37 специализированных функций для продаж. Кроме того, Claude становится моделью по умолчанию в Slack, что глубоко интегрирует технологии Anthropic в экосистему Salesforce. Партнерство направлено на повышение продуктивности корпоративных клиентов, предоставляя отделам продаж доступ к ИИ-инструментам прямо в рабочих процессах. Это отражает тренд на глубокую интеграцию ИИ-моделей в корпоративное ПО.
Баррет Зоф вернулся в Google
Баррет Зоф, сооснователь Thinking Machines, возвращается в Google на должность вице-президента по исследованиям. Он будет заниматься обучением с подкреплением для модели Gemini, вернувшись в компанию после короткого периода работы в OpenAI. Возвращение Зофа — значимое усиление для исследовательского подразделения Google, особенно в контексте ускорения работ по совершенствованию методов обучения моделей для улучшения их логических способностей.