Комментировать

Специалисты Московского физико-технического института разработали алгоритм, позволяющий снизить потребность нейросетей в вычислительных ресурсах и памяти дата-центров

Специалисты МФТИ создали алгоритм HARP, сжимающий языковые модели практически без потери точности. Технология вдвое ускоряет работу ИИ-систем и снижает потребность в вычислительных мощностях и памяти дата-центров. Алгоритм протестировали на языковых моделях Llama и Qwen. При максимально жестком сжатии ошибка сократилась на 15%. HARP и уже сжатые с его помощью нейросети выложили в открытый доступ.

«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку», — рассказал старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Г.Молодцов.

Большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Чтобы уменьшить объем данных, ученые применяют квантование — представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск падения точности. HARP помогает эти потери сократить.

Источник: Известия

#технологии #ИИ
Комментировать

Комментарии

Комментировать

Вам может быть интересно

25
#росатом

«Росатом» создал тестовые образцы новых материалов с помощью ИИ

Специалисты госкорпорации "Росатом" в 2025 году создали тестовые образцы новых материалов, используя искусственный интеллект для их быстрого автоматизированного синтеза, следует из годового отчета АО "Атомэнергопром" (входит в "Росатом", консолидирует гражданские активы российской атомной отрасли) за 2025 год
68
#цифровизация

«Ростелеком» представил технологии для «умного» кампуса в НГУ

"Ростелеком" представил инновационное комплексное решение по проектированию и строительству "умных" кампусов. Презентация состоялась в рамках рабочего визита министра экономического развития РФ Максима Решетникова в Новосибирский государственный университет (НГУ)
251
#консорциум

«Альфа-Банк», «Сбер» и «Т-Банк» подписали меморандум о создании консорциума для разработки новых платежных решений

Партнеры намерены создавать высокотехнологичные платежные инструменты, единый QR-код будет первым таким решением

Вы недавно смотрели

23
#ФНС

ФНС России разъяснила изменения в порядке исчисления и уплаты налогов на имущество организаций с 2027 года

ФНС России разъяснила новый порядок исчисления и уплаты имущественных налогов организациями и авансовых платежей по ним. Рекомендации направлены в рамках подготовки ко вступлению в силу с 2027 года норм Федерального закона от 28.11.2025 № 425-ФЗ
31
#законопроект

Госдума приняла в первом чтении законопроекты, сокращающие инвестиционно-строительный цикл и восстанавливающие права ряда граждан

На пленарном заседании Государственной Думы статс-секретарь – заместитель Министра строительства и ЖКХ РФ Юрий Муценек представил два законопроекта: о введении одностадийного проектирования на ряд объектов и о предоставлении субсидий гражданам, выезжающим из районов Крайнего Севера
70
#законодательство

Минстрой разъяснил нюансы применения способов обоснования проектных решений и стандартов организаций

На вопрос, касающийся способов обоснования проектных решений и стандартов организаций (СТО), специалисты ведомства ответили в письме №51994 СМ/08 от 02.09.2025