Комментировать

Российские исследователи разработали новую методологию тестирования ИИ-ассистентов

Российские ученые из Сбера, MWS AI, ИТМО, МИСИС и НИУ ВШЭ разработали открытую методологию DRAGOn для тестирования RAG-систем, которая впервые позволяет оценивать точность ИИ-ассистентов на динамически обновляемых корпоративных данных.

RAG-системы объединяют большие языковые модели с корпоративными базами знаний, позволяя нейросетям работать на актуальной информации и снижая риск ошибок. В отличие от существующих тестов, которые часто полагаются на статичные наборы данных или страдают от расхождения с реальными базами знаний компаний, новая методология DRAGOn предполагает постоянное обновление корпуса данных. Система автоматически вычленяет новые факты из свежих новостных лент, формируя «карту знаний», и создает многоуровневые логические задачи, требующие от ИИ сопоставления нескольких источников вместо простого копирования фрагментов текста. Проверкой ответов занимается нейросеть-судья, которая анализирует фактическую точность и полноту.

Соавтор исследования, руководитель центра разработки больших языковых моделей MWS AI Валентин Малых отметил, что конкуренция в сфере ИИ смещается от гонки параметров к эффективности прикладного контура. По его словам, предложенная методология универсальна и легко адаптируется к любым языкам и сценариям — от анализа научных публикаций до работы с судебными документами.

Для бизнеса практическая ценность методологии заключается в том, что на ее основе каждая компания может развернуть собственный контур тестирования на внутренних данных. Это позволяет до внедрения оценить, насколько точно ИИ-система работает в конкретной инфраструктуре, сравнивать разные модели по единым критериям и снижать риски ошибок в ответах.

В исследовании приняли участие специалисты Сбера (команда SberAI), Университета искусственного интеллекта имени Мохаммеда бин Заида (MBZUAI), ИТМО, МИСИС, НИУ ВШЭ, MWS AI, Международного университета информационных технологий (IITU) и Школы анализа данных Яндекса.

Источник: Компьютерра

#технологии #искусственный интеллект #ИИ
Комментировать

Комментарии

Комментировать

Вам может быть интересно

88
#цифровизация

«Мозги» российской нейросети и триллионы рублей от ИИ. О чем говорил Мишустин в Алма-Ате

Председатель правительства РФ рассказал об экономическом эффекте от внедрения технологий ИИ в России, отличии российской нейросети от западной ChatGPT и российских предложениях для зарубежных партнеров
50
#цифровизация

«Ростелеком» представил технологии для «умного» кампуса в НГУ

"Ростелеком" представил инновационное комплексное решение по проектированию и строительству "умных" кампусов. Презентация состоялась в рамках рабочего визита министра экономического развития РФ Максима Решетникова в Новосибирский государственный университет (НГУ)
151
#консорциум

«Альфа-Банк», «Сбер» и «Т-Банк» подписали меморандум о создании консорциума для разработки новых платежных решений

Партнеры намерены создавать высокотехнологичные платежные инструменты, единый QR-код будет первым таким решением