Разработан алгоритм для обучения ИИ на фотонных и нейроморфных чипах
Российские ученые разработали подход, позволяющий быстро обучать гибридные нейросети, использующие в своей работе альтернативные вычислительные системы, в том числе разрабатываемые сейчас фотонные, нейроморфные и аналоговые чипы. Об этом сообщила пресс-служба Института искусственного интеллекта AIRI.
«Сейчас активно развиваются специализированные вычислительные устройства для ИИ, имеющие самые разнообразные физические воплощения — от нейроморфных систем до фотоники. Предложенный алгоритм позволяет использовать такие порой экзотические устройства вместе с цифровой электроникой в гибридных вычислительных системах и обучать на них модели ИИ без потери качества», — пояснил научный руководитель Центра квантовых технологий Сбербанка Станислав Страупе, чьи слова приводит пресс-служба AIRI.
Как объясняют ученые, пока фотонные и нейроморфные чипы способны исполнять отдельные операции или решать небольшие задачи, что не позволяет полностью переложить на них задачи, связанные с работой и обучением нейросетей. При этом их можно использовать в качестве одного из компонента гибридных систем, в которых основную часть операций будут исполнять классические микрочипы, а самые частые вычисления будут производиться при помощи специализированного сопроцессора.
Исследователи из Института AIRI, Центра квантовых технологий Сбербанка и «Сколтеха» сделали большой шаг к разработке этих гибридных систем ИИ, создав алгоритм, который позволяет эффективно обучать эти нейросети даже при отсутствии возможности «заглянуть» внутрь сопроцессора и использовать его внутренние градиенты в процессе обучения. Работу подхода исследователи проверили на шести цифровых моделях фотонных вычислительных слоев и схем и трех классах задач.
Проведенные исследователями расчеты показали, что для обучения гибридной нейросети не обязательно точно знать, что происходит внутри каждого ее компонента. Как оказалось, наблюдения за реакцией устройства на случайные изменения в сочетании с приближенной моделью работы сопроцессора позволяют обучать нейросеть таким образом, что она показывает результаты, близкие к полностью цифровым базовым моделям.
«В будущем такие гибридные системы могут быть востребованы в крупных дата-центрах для обучения больших моделей, а также в устройствах с жесткими требованиями к скорости и энергопотреблению. Самый реалистичный сценарий — когда тяжелые математические операции выполняет физический ускоритель, а остальную работу делает цифровая часть», — подытожил старший научный сотрудник AIRI Андрей Чертков, чьи слова приводит пресс-служба института.
Источник: ТАСС
Login with Google
Комментарии