Исследователи из Сбера опубликовали первую в России открытую диффузионную большую языковую модель
Исследователи из Сбера разработали и опубликовали первую в России большую языковую модель, работа которой основывается на тех же принципах, которые используются диффузионными нейросетями для генерации изображений и роликов. Этот подход ускорил написание текстов на 45% по сравнению с классической большой языковой моделью, на базе которой обучался новый ИИ, сообщила пресс-служба Сбера.
«Диффузионные модели лучше структурируют ответы и могут самостоятельно выбирать порядок его написания, а не генерировать его последовательно. По сравнению с классическими моделями они также более эффективно используют ограниченный объем данных при обучении. Это пока во многом открытое направление — устоявшихся архитектурных стандартов здесь меньше, что дает больше пространства для собственных решений», — пояснил инженер Сбера Даниил Тихонов, чьи слова приводит пресс-служба банка.
Как объясняет Тихонов, существующие большие языковые модели генерируют текст последовательно, слово за словом, что вынуждает модель переписывать весь ответ заново, если она находит какую-то ошибку в уже сгенерированном тексте. В отличие от этого, диффузионные нейросети, часто применяемые для генерации изображений и видео, создают приблизительный «набросок» ответа, а затем пошагово дорабатывают его.
Также у этого подхода есть и другие преимущества — он позволяет более гибко генерировать «блоки» ответов и вырабатывать их не по одному, а пачками, а также при этом диффузионные модели способны извлекать больше информации из ограниченного объема данных, обучаясь на одном и том же наборе данных несколько раз. Подобные плюсы данного подхода к созданию нейросетей заставляют ученых со всего мира активно внедрять его в большие языковые модели.
В частности, специалисты Сбера разработали и опубликовали в открытом доступе диффузионную языковую модель GFusion, а также набор инструментов, ускоряющих обучение этих систем ИИ и позволяющих проводить данный процесс с применением меньшего числа видеокарт. Также исследователи дополнили самые популярные в индустрии инструменты для запуска языковых моделей, добавив в них возможность работы с диффузионными нейросетями.
Источник: ТАСС
Login with Google
Комментарии