Комментировать

Российские исследователи разработали новую методологию тестирования ИИ-ассистентов

Российские ученые из Сбера, MWS AI, ИТМО, МИСИС и НИУ ВШЭ разработали открытую методологию DRAGOn для тестирования RAG-систем, которая впервые позволяет оценивать точность ИИ-ассистентов на динамически обновляемых корпоративных данных.

RAG-системы объединяют большие языковые модели с корпоративными базами знаний, позволяя нейросетям работать на актуальной информации и снижая риск ошибок. В отличие от существующих тестов, которые часто полагаются на статичные наборы данных или страдают от расхождения с реальными базами знаний компаний, новая методология DRAGOn предполагает постоянное обновление корпуса данных. Система автоматически вычленяет новые факты из свежих новостных лент, формируя «карту знаний», и создает многоуровневые логические задачи, требующие от ИИ сопоставления нескольких источников вместо простого копирования фрагментов текста. Проверкой ответов занимается нейросеть-судья, которая анализирует фактическую точность и полноту.

Соавтор исследования, руководитель центра разработки больших языковых моделей MWS AI Валентин Малых отметил, что конкуренция в сфере ИИ смещается от гонки параметров к эффективности прикладного контура. По его словам, предложенная методология универсальна и легко адаптируется к любым языкам и сценариям — от анализа научных публикаций до работы с судебными документами.

Для бизнеса практическая ценность методологии заключается в том, что на ее основе каждая компания может развернуть собственный контур тестирования на внутренних данных. Это позволяет до внедрения оценить, насколько точно ИИ-система работает в конкретной инфраструктуре, сравнивать разные модели по единым критериям и снижать риски ошибок в ответах.

В исследовании приняли участие специалисты Сбера (команда SberAI), Университета искусственного интеллекта имени Мохаммеда бин Заида (MBZUAI), ИТМО, МИСИС, НИУ ВШЭ, MWS AI, Международного университета информационных технологий (IITU) и Школы анализа данных Яндекса.

Источник: Компьютерра

#технологии #искусственный интеллект #ИИ
Комментировать

Комментарии

Комментировать

Вам может быть интересно

118
#цифровизация

«Мозги» российской нейросети и триллионы рублей от ИИ. О чем говорил Мишустин в Алма-Ате

Председатель правительства РФ рассказал об экономическом эффекте от внедрения технологий ИИ в России, отличии российской нейросети от западной ChatGPT и российских предложениях для зарубежных партнеров
21
#росатом

«Росатом» создал тестовые образцы новых материалов с помощью ИИ

Специалисты госкорпорации "Росатом" в 2025 году создали тестовые образцы новых материалов, используя искусственный интеллект для их быстрого автоматизированного синтеза, следует из годового отчета АО "Атомэнергопром" (входит в "Росатом", консолидирует гражданские активы российской атомной отрасли) за 2025 год
67
#цифровизация

«Ростелеком» представил технологии для «умного» кампуса в НГУ

"Ростелеком" представил инновационное комплексное решение по проектированию и строительству "умных" кампусов. Презентация состоялась в рамках рабочего визита министра экономического развития РФ Максима Решетникова в Новосибирский государственный университет (НГУ)

Вы недавно смотрели

23
#судебная практика

Суды: подрядчик вправе требовать компенсацию за необходимые допработы даже без допсоглашения

Если дополнительные работы объективно необходимы и вызваны недостатками проектной документации, подрядчик может требовать их оплаты, даже когда формального дополнительного соглашения к госконтракту стороны не заключали
14
#технологии

Немецкие ученые создали первую высокодетальную 3D-карту всех зданий Земли

Исследователи из Технического университета Мюнхена впервые создали наиболее полную цифровую модель искусственной среды планеты, представив высокодетальный трехмерный набор данных, охватывающий 2,75 миллиарда зданий по всему миру. Этот глобальный атлас под названием GlobalBuildingAtlas закладывает основу для новых возможностей в климатических исследованиях и реализации Целей устойчивого развития ООН