Создан «детектор качества» информации для оптимизации работы нейросетей
Исследователи Центра практического искусственного интеллекта Сбербанка совместно с учеными Института AIRI и «Сколтеха» разработали «детектор качества», позволяющий выявлять момент при сжатии информации для экономии памяти, когда нейросеть начинает терять ее смысл и искажать данные. Об этом сообщили в пресс-службе «Сбера».
«Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестает быть оптимизацией и ведет к ошибкам, вызывая потерю устойчивости модели. Для бизнеса это означает принципиально новый уровень надежности искусственного интеллекта — сокращение издержек и повышение точности принятия решений», — приводятся в сообщении слова директора центра практического искусственного интеллекта «Сбербанка» Николая Тидена.
Поясняется, что современные большие языковые модели при работе с длинными переписками и массивами документов обычно получают весь доступный контекст целиком. Такой подход остается эффективным лишь до определенного объема данных. При росте длины контекста модель может сохранять начало и конец текста, но терять важные фрагменты из середины, что приводит к искажению ответа. Одним из распространенных способов обработки больших объемов информации остается сжатие данных с их последующим переводом в векторные представления. Это позволяет снижать нагрузку на вычислительные мощности и экономить ресурсы. Вместе с тем чрезмерное сжатие способно вызывать необратимое искажение содержания.
«Детектор качества» проверяет сжатые токены еще до того, как они попадут в большую языковую модель. Если классификатор видит, что смысл нарушен, он не пропускает испорченный контекст дальше. И тогда система может подставить оригинальный несжатый текст или поискать свежие документы», — уточняется в сообщении.
Новый способ специалисты применили при обновлении модели GigaChat Ultra.
Источник: ТАСС
Login with Google
Комментарии