Комментировать

Российские исследователи разработали новую методологию тестирования ИИ-ассистентов

Российские ученые из Сбера, MWS AI, ИТМО, МИСИС и НИУ ВШЭ разработали открытую методологию DRAGOn для тестирования RAG-систем, которая впервые позволяет оценивать точность ИИ-ассистентов на динамически обновляемых корпоративных данных.

RAG-системы объединяют большие языковые модели с корпоративными базами знаний, позволяя нейросетям работать на актуальной информации и снижая риск ошибок. В отличие от существующих тестов, которые часто полагаются на статичные наборы данных или страдают от расхождения с реальными базами знаний компаний, новая методология DRAGOn предполагает постоянное обновление корпуса данных. Система автоматически вычленяет новые факты из свежих новостных лент, формируя «карту знаний», и создает многоуровневые логические задачи, требующие от ИИ сопоставления нескольких источников вместо простого копирования фрагментов текста. Проверкой ответов занимается нейросеть-судья, которая анализирует фактическую точность и полноту.

Соавтор исследования, руководитель центра разработки больших языковых моделей MWS AI Валентин Малых отметил, что конкуренция в сфере ИИ смещается от гонки параметров к эффективности прикладного контура. По его словам, предложенная методология универсальна и легко адаптируется к любым языкам и сценариям — от анализа научных публикаций до работы с судебными документами.

Для бизнеса практическая ценность методологии заключается в том, что на ее основе каждая компания может развернуть собственный контур тестирования на внутренних данных. Это позволяет до внедрения оценить, насколько точно ИИ-система работает в конкретной инфраструктуре, сравнивать разные модели по единым критериям и снижать риски ошибок в ответах.

В исследовании приняли участие специалисты Сбера (команда SberAI), Университета искусственного интеллекта имени Мохаммеда бин Заида (MBZUAI), ИТМО, МИСИС, НИУ ВШЭ, MWS AI, Международного университета информационных технологий (IITU) и Школы анализа данных Яндекса.

Источник: Компьютерра

#технологии #искусственный интеллект #ИИ
Комментировать

Комментарии

Комментировать

Вам может быть интересно

121
#цифровизация

«Мозги» российской нейросети и триллионы рублей от ИИ. О чем говорил Мишустин в Алма-Ате

Председатель правительства РФ рассказал об экономическом эффекте от внедрения технологий ИИ в России, отличии российской нейросети от западной ChatGPT и российских предложениях для зарубежных партнеров
25
#росатом

«Росатом» создал тестовые образцы новых материалов с помощью ИИ

Специалисты госкорпорации "Росатом" в 2025 году создали тестовые образцы новых материалов, используя искусственный интеллект для их быстрого автоматизированного синтеза, следует из годового отчета АО "Атомэнергопром" (входит в "Росатом", консолидирует гражданские активы российской атомной отрасли) за 2025 год
68
#цифровизация

«Ростелеком» представил технологии для «умного» кампуса в НГУ

"Ростелеком" представил инновационное комплексное решение по проектированию и строительству "умных" кампусов. Презентация состоялась в рамках рабочего визита министра экономического развития РФ Максима Решетникова в Новосибирский государственный университет (НГУ)

Вы недавно смотрели

Главгосэкспертиза России
32

115 новых сметных норм по 38 технологиям планируется включить в ФСНБ-2022

Минстрой России утвердил первый пакет изменений и дополнений в План утверждения (актуализации) сметных нормативов на 2024 год. Соответствующий приказ № 41/пр от 24 января 2024 года подписал Министр строительства и ЖКХ Российской Федерации Ирек Файзуллин.

45
#образование

Около 500 экспертов разрабатывают Стратегию развития образования до 2036 года

Заместитель председателя Правительства России Дмитрий Чернышенко провел совещание по разработке Стратегии развития образования на период до 2036 года с перспективой до 2040-го. В ходе совещания выступили участники 10 из 14 рабочих групп и представили результаты на текущий момент
19
#президент

Президент подписал ряд важных законопроектов в строительной отрасли

Президент России Владимир Путин подписал ряд новых федеральных законов, касающихся регулирования в сфере строительства и ЖКХ, налогообложения и кадастровой оценки