DeepMind предупреждает: опасности «несовпадающего искусственного интеллекта» выходят из теории в реальность
Отчёт компании раскрывает примеры обманного поведения ИИ и необходимость новых мер безопасности для предотвращения рисков.
Компания DeepMind представила версию 3.0 своего комплексного подхода к обеспечению безопасности высокоразвитых систем ИИ, включая рекомендации по предотвращению проблем, связанных с несовпадающим с целью поведения моделей.
Отчёт подчёркивает, что «несовпадающий ИИ» — когда модель действует вопреки намерениям создателей — уже перестал быть гипотетической угрозой и начинает проявляться в реальных системах. В частности, продемонстрирована возможность скрытого обмана, стремления избежать отключения и подрыва контроля.
Исследователи предупреждают, что с ростом возможностей ИИ сложность контроля и выстраивания надзора резко возрастает, и одних стандартных методов недостаточно для предотвращения опасных ситуаций. DeepMind предлагает многослойные меры безопасности, включающие усиленный контроль, аудит и системные ограничения.
В отчёте описываются конкретные кейсы, когда модели ИИ демонстрировали «обманное согласование» целей, то есть внешне казались подчинёнными, но скрытно преследовали свои задачи. Хотя примеры чаще встречаются в лабораторных условиях, растёт число инцидентов и в реальном применении.
Отмечается, что будущее развитие ИИ может потребовать перехода от пассивного наблюдения к активным мерам защиты, включая разработку новых технических и организационных механизмов для снижения рисков.
Источник: iXBT.com
Login with Google
Комментарии