Нормализация и дедупликация корпоративного справочника материально-технических ресурсов с помощью технологий ИИ
Романов Д. А.,
управляющий директор, Преферентум
Гаранкина С. А,
ведущий менеджер по развитию
технологической экспертизы, Преферентум
В статье рассматриваются практические вопросы нормализации и дедупликации корпоративного справочника материально-технических ресурсов с применением технологий искусственного интеллекта, основанные на переходе от сравнения текстовых наименований к анализу технических характеристик объектов. Особое внимание уделяется роли методологии нормализации и дедупликации, сочетанию ИИ с формальными алгоритмами и экспертным контролем, переходу от разовой очистки накопленных данных к непрерывному управлению качеством справочника МТР.
Корпоративные справочники материально-технических ресурсов (МТР) формируются в течение многих лет и зачастую содержат дублирующиеся позиции, возникающие из-за неоднородных наименований, неполных характеристик, различных обозначений единиц измерения, сокращений и синонимов. Это затрудняет поиск и сопоставление позиций МТР, снижает качество закупочной и складской аналитики и увеличивает трудозатраты функциональных специалистов и специалистов, отвечающих за нормативно-справочную информацию.
Корпоративный справочник МТР является одним из ключевых элементов единого информационного пространства компании. В нем содержится стандартизированная информация о материалах, оборудовании и комплектующих, используемая одновременно в закупках, проектировании, складском учете, техническом обслуживании, планировании и других бизнес-процессах. Через справочник обеспечивается единообразное описание одних и тех же материально-технических ресурсов в различных информационных системах и подразделениях компании. Поэтому качество справочника непосредственно влияет не только на качество нормативно-справочной информации, но и на процессы, в которых используются эти данные.
Если один технический объект представлен несколькими позициями, содержит неполные или противоречивые характеристики либо описан по различным правилам, ошибки начинают распространяться на связанные процессы и информационные системы.
Нормализация и дедупликация корпоративного справочника позволяют:
- Привести наименования, технические характеристики, единицы измерения и обозначения МТР к единым корпоративным правилам представления.
- Выявлять одинаковые технические объекты, зарегистрированные в справочнике под разными наименованиями или с различным набором характеристик.
- Проверить и повысить полноту и сопоставимость данных для их последующего использования в закупочных, складских, производственных и аналитических процессах
- Обеспечить сопоставление данных о МТР, поступающих из различных источников: информационных систем, заявок подразделений, проектных спецификаций, каталогов поставщиков и внешних справочников
- Сформировать единое структурированное представление технического объекта независимо от исходной формы и источника его описания.
В результате обеспечивается:
- Единообразная идентификация материально-технических ресурсов в различных подразделениях и информационных системах.
- Снижение риска повторных закупок, формирования избыточных складских запасов и ошибок, связанных с использованием разных записей для одного и того же объекта.
- Повышение качества закупочной, складской и управленческой аналитики за счет использования более полных, сопоставимых и структурированных данных.
- Сокращение трудозатрат специалистов на ручной поиск, проверку, сопоставление и обработку позиций МТР.
- Ускорение процессов создания и согласования новых позиций, обработки заявок и поиска существующих материально-технических ресурсов.
При этом возникает важный практический вопрос: какие экономические последствия возникают из-за некачественного справочника МТР? Потери могут быть связаны с закупкой уже имеющихся на складе материалов, приобретением одинаковых ресурсов у разных поставщиков по различным ценам, избыточными запасами, ошибками планирования, простоями и дополнительными трудозатратами на проверку и сопоставление данных.
Масштаб таких потерь зависит от объема справочника, количества дублирующихся позиций, стоимости материально-технических ресурсов и числа бизнес-процессов, использующих справочные данные. Поэтому оценка состояния справочника начинается с выявления повторяющихся записей, проверки полноты характеристик, сопоставления закупочных и складских данных и оценки трудозатрат на ручную обработку.
Однако разовая очистка справочника не устраняет причину появления дублей.
После завершения проекта по дедупликации в него продолжают поступать новые данные из заявок подразделений, проектных спецификаций, каталогов поставщиков и различных информационных систем. Если правила создания новых позиций не меняются, дубли начинают накапливаться повторно.
Нормализация справочника МТР с использованием технологий ИИ представляет собой автоматизированный процесс преобразования разнородных данных о материально-технических ресурсах в единое структурированное представление в соответствии с установленными корпоративными правилами. Нормализация выполняется на основе атрибутивной модели товарной группы и включает определение товарной группы позиции, извлечение технических характеристик из исходного описания, унификацию терминов, обозначений и единиц измерения, приведение значений атрибутов к установленным форматам и формирование нормализованных наименований по заданным шаблонам.
Дополнительно при наличии применимых нормативных документов позиция может быть обогащена данными, полученными на их основе, в том числе расчетными значениями технических параметров, которые не указаны непосредственно в исходном описании, но могут быть однозначно определены по установленным нормативным зависимостям и правилам расчета.
Результатом нормализации является структурированная позиция МТР, содержащая приведенные к единому формату значения атрибутов, нормализованное наименование и, при наличии соответствующих оснований, дополнительные расчетные характеристики, полученные на основе нормативных документов.
Полученный результат используется для последующего сопоставления позиций, дедупликации, поиска существующих записей, формирования новых позиций, валидации технических характеристик и использования данных МТР в связанных информационных системах и бизнес-процессах.
Дедупликация справочника МТР с использованием технологий ИИ представляет собой автоматизированный процесс выявления записей, которые потенциально могут описывать один и тот же материально-технический ресурс, и их сопоставления по технически значимым характеристикам. Сопоставление выполняется по установленному для товарной группы идентификационному набору, который может включать значения технических атрибутов изделия, нормативный документ, артикул, каталожный номер и другие идентифицирующие признаки.
Результатом дедупликации является выявление позиций, для которых нормализованные значения всех атрибутов идентификационного набора совпадают на 100%, а также позиций с частичным совпадением или неполным набором значений, требующих дополнительной проверки.
На основании результатов сопоставления принимается решение об использовании существующей позиции, объединении записей либо их сохранении как самостоятельных объектов. Именно поэтому практический интерес представляет не только поиск уже существующих дублей, но и построение процесса, позволяющего нормализовать и сопоставлять новые позиции до их включения в справочник.
Применение технологий искусственного интеллекта расширяет возможности автоматизации такого процесса, особенно при работе с неструктурированными и разнородными описаниями МТР. Между тем, задача имеет выраженную предметную специфику.
Для определения дублей недостаточно установить, насколько похожи два наименования. Необходимо определить, какой технический объект стоит за каждой записью, выделить его характеристики, привести их к сопоставимому виду и установить, какие из них являются существенными для идентификации изделия.
Почему сравнения наименований МТР для поиска дублей недостаточно
Данные МТР поступают из разных подразделений, заявок, каталогов поставщиков и информационных систем. Один технический объект при этом может быть описан разными способами: меняются порядок слов, сокращения, единицы измерения, обозначения материалов и нормативных документов.
Например, один и тот же объект может быть представлен следующим образом:
Болт М8х1- 6gх16.88 40Х.019 ГОСТ 7808-70
и
Болт ГОСТ 7808-70 М8х1- 6g L=16 кл.пр.8.8 сталь 40Х покр.019.
Строки заметно различаются. Однако при разборе их содержания выявляется одинаковый набор характеристик: диаметр и шаг резьбы, поле допуска, длина, класс прочности, материал, покрытие и нормативный документ.
Возможна и обратная ситуация:
Болт М8х1- 6gх60.109 40Х.016 ГОСТ 7808- 70
и
Болт М8х1,25- 6gх60.109 40Х.016 ГОСТ 7808- 70.
Наименования практически совпадают, но шаг резьбы составляет соответственно 1 и 1,25 мм. С технической точки зрения это разные изделия.
Таким образом, разные по написанию строки могут описывать один технический объект,
а очень похожие — разные.
Традиционные методы дедупликации основаны на точном и нечетком сопоставлении текстовых значений, поиске совпадающих и близких по написанию слов и строк, а также использовании различных метрик строкового сходства. Одной из таких метрик является расстояние Левенштейна — минимальное количество операций вставки, удаления или замены символа, необходимых для преобразования одной строки в другую.
Такие методы эффективно выявляют опечатки, различия в написании, перестановки слов и другие текстовые вариации, однако применительно к справочнику МТР позволяют прежде всего сформировать набор потенциально похожих записей для дальнейшего сопоставления.
Высокая текстовая похожесть сама по себе не подтверждает техническую идентичность объектов. Поэтому для надежной дедупликации необходимо перейти от сравнения исходных строк к анализу содержащихся в них технических характеристик.
От текстового описания МТР к модели технического объекта
Исходное наименование МТР необходимо преобразовать в структурированный набор технических характеристик.
Например, запись:
Болт М8х1-6gх60.109 40Х.016 ГОСТ 7808-70
может быть представлена следующим образом: изделие — болт, диаметр резьбы — 8 мм, шаг резьбы -1 мм, поле допуска — 6g, длина — 60 мм, класс прочности — 10.9, материал — 40Х, покрытие — 016, нормативный документ — ГОСТ 7808-70.
Полученные значения приводятся к единому формату, после чего система сопоставляет уже
не исходные наименования, а технически значимые характеристики объектов.
Для разных групп МТР состав таких характеристик различается. Для болта существенными могут быть диаметр и шаг резьбы, длина, класс прочности, материал и нормативный документ. Для трубы — материал, геометрические размеры, технология изготовления и стандарт.
Для электродвигателя — мощность, напряжение, частота вращения, исполнение и степень защиты.
Следовательно, качественная дедупликация требует наличия методологии для каждой товарной группы: атрибутивной модели, состава обязательных характеристик, правил их нормализации и критериев технической идентичности, а также шаблонов формирования кратких, полных, торговых и других наименований МТР.
Особое значение это приобретает в справочниках, где используются товарные и эталонные позиции.
Товарная позиция содержит технические характеристики конкретного изделия и может включать сведения о производителе, артикуле, каталожном номере, ТУ или бренде.
Эталонная позиция описывает технические свойства объекта без привязки к конкретному производителю или поставщику.
При поступлении новой записи необходимо определить, соответствует ли она уже существующей товарной позиции, относится ли к существующей эталонной позиции или действительно представляет новый технический объект. Такое решение должно основываться прежде всего на технических характеристиках и установленных правилах их сопоставления.
Login with Google
Комментарии