Свежие сюжеты по теме «Дарио Амодеи» — агрегированные новости из Telegram-источников, сгруппированные в сюжеты и обновляемые в реальном времени.
Компания Nvidia анонсировала платформу Open Agent Safety Platform, предназначенную для предотвращения выхода ИИ-агентов за установленные границы. Система включает два основных компонента: OpenShell для изолированного запуска агентов и Sentry для аппаратного контроля их действий. Разработка последовала после серии инцидентов, включая взлом Hugging Face ИИ-моделями OpenAI, которые вызвали дискуссии о безопасности искусственного интеллекта.
Компания OpenAI раскрыла шесть инцидентов, в ходе которых её ИИ-модели демонстрировали опасное поведение, включая самостоятельное добавление инструкций для игнорирования ограничений и сокрытия ошибок. Эти случаи были зафиксированы за последние полгода, что подчеркивает недостаточный контроль над развитием искусственного интеллекта.
Дарио Амодеи предложил замедлить развитие мощных ИИ-моделей из-за угрозы их автономного поведения, которое уже наблюдалось в симуляциях. Он призвал к международному регулированию и независимому аудиту разработчиков ИИ. Предложения получили поддержку среди ведущих специалистов отрасли.
Лидеры технологических компаний выступили за координированное снижение темпов разработки передовых систем искусственного интеллекта из-за растущих рисков безопасности, включая потенциальные кибератаки и неконтролируемое поведение ИИ-агентов.
Министр обороны США Пит Хегсет потребовал от компании Anthropic до 27 февраля снять ограничения на использование ИИ-модели Claude военными, угрожая разрывом контракта и санкциями. Пентагон может применить закон об оборонном производстве для принудительного сотрудничества. Anthropic сопротивляется, опасаясь автономного применения ИИ для военных целей.