Комментировать

Специалисты Московского физико-технического института разработали алгоритм, позволяющий снизить потребность нейросетей в вычислительных ресурсах и памяти дата-центров

Специалисты МФТИ создали алгоритм HARP, сжимающий языковые модели практически без потери точности. Технология вдвое ускоряет работу ИИ-систем и снижает потребность в вычислительных мощностях и памяти дата-центров. Алгоритм протестировали на языковых моделях Llama и Qwen. При максимально жестком сжатии ошибка сократилась на 15%. HARP и уже сжатые с его помощью нейросети выложили в открытый доступ.

«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку», — рассказал старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Г.Молодцов.

Большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Чтобы уменьшить объем данных, ученые применяют квантование — представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск падения точности. HARP помогает эти потери сократить.

Источник: Известия

#технологии #ИИ
Комментировать

Комментарии

Комментировать

Вам может быть интересно

21
#росатом

«Росатом» создал тестовые образцы новых материалов с помощью ИИ

Специалисты госкорпорации "Росатом" в 2025 году создали тестовые образцы новых материалов, используя искусственный интеллект для их быстрого автоматизированного синтеза, следует из годового отчета АО "Атомэнергопром" (входит в "Росатом", консолидирует гражданские активы российской атомной отрасли) за 2025 год
67
#цифровизация

«Ростелеком» представил технологии для «умного» кампуса в НГУ

"Ростелеком" представил инновационное комплексное решение по проектированию и строительству "умных" кампусов. Презентация состоялась в рамках рабочего визита министра экономического развития РФ Максима Решетникова в Новосибирский государственный университет (НГУ)
235
#консорциум

«Альфа-Банк», «Сбер» и «Т-Банк» подписали меморандум о создании консорциума для разработки новых платежных решений

Партнеры намерены создавать высокотехнологичные платежные инструменты, единый QR-код будет первым таким решением

Вы недавно смотрели

3
#градостроительство

Москва перевела мониторинг градостроительных показателей в автоматический режим

В Москве автоматизировали передачу градостроительных данных в объединенную систему мониторинга столицы. Это позволяет оперативно получать актуальные сведения о состоянии территорий и отслеживать выполнение плановых значений государственных программ. Об этом сообщил заместитель мэра Москвы по вопросам градостроительной политики и строительства В. Ефимов
0
#законодательство

Минстрой России внес изменения в методики расчета сметной прибыли и накладных расходов в строительстве

Министерство строительства и жилищно-коммунального хозяйства Российской Федерации издало два приказа, утверждающих изменения в строительные методики
4
#культурное наследие

Установлен порядок предоставления охранного обязательства по объектам культурного наследия ДОМ.РФ

Правительство РФ утвердило порядок актуализированного охранного обязательства собственника объекта культурного наследия (ОКН), подлежащего передаче от ПАО ДОМ.РФ инвестору. Для инвестора это означает снижение бюрократических рисков, более быструю подготовку лотов и прозрачность процедуры