«Сбер» разработал и опубликовал первую в России модель для кибербезопасности искусственного интеллекта
Специалисты «Сбера» в области кибербезопасности разработали первую версию модели угроз для систем искусственного интеллекта (ИИ). Она охватывает все ключевые этапы функционирования ИИ-систем, от подготовки данных и разработки ИИ-модели до её внедрения в приложение.
В документе описаны 70 потенциальных угроз для моделей генеративного (GenAI) и прогностического (PredAI) искусственного интеллекта. Представленная модель угроз учитывает текущий опыт команд «Сбера» в области повышения безопасности собственных ИИ-моделей, а также лучшие международные стандарты и практики в этой области (документы OWASP, MITRE, NIST и другие).
В дополнение к возможным последствиям, для каждой из 70 угроз определены атрибуты информации, которые могут быть нарушены (конфиденциальность, целостность и доступность), и объекты, подверженные воздействию злоумышленников, такие как наборы данных для обучения или модели с открытым исходным кодом. Для большей наглядности модель угроз включает в себя схему взаимодействия этих объектов и их подробное описание.
В компании подчёркивают, что разработка такой модели особенно важна в контексте расширяющегося применения GenAI-моделей в критически важных бизнес-процессах и связанных с этим новых вызовов в области кибербезопасности.
«Внедрение технологий искусственного интеллекта в бизнес-процессы сопровождается масштабными вызовами кибербезопасности. Организации, использующие AI, сталкиваются с новыми рисками, способными повлиять на устойчивость систем и конфиденциальность данных. Эти угрозы затрагивают все этапы жизненного цикла AI, что требует новых решений для их прогнозирования и нейтрализации.
Сбер активно применяет технологии искусственного интеллекта в своих бизнес-процессах и хорошо понимает новый ландшафт угроз. Для ответа на эти вызовы нами разработана первая в России модель угроз, охватывающая полный спектр рисков, связанных с разработкой и применением AI. Она позволяет организациям любой отрасли — от финансового сектора до государственных институтов и промышленности — системно оценивать уязвимости, адаптировать защитные механизмы и минимизировать потенциальные потери», — Сергей Лебедь, вице-президент по кибербезопасности «СберБанка».
Источник: Хабр
Login with Google
Комментарии