Кейс: Распознаватель артикулов в наименованиях номенклатуры (загрузка в 1С)

Ускорение сопоставления номенклатуры - поиск артикулов

• Поставщик прислал прайс без артикулов? Ситуация может быть простой, а может быть жесткой - даже ИИ не справляется. Мы получили прайс с 20 000 товаров, в которых есть только наименования, очень большие и сложные. 
• В прайсах вместо артикулов поставщики предоставляют свои коды. По этим кодам вы не сможете синхронизировать прайсы поставщиков. Наименования также сильно отличаются. Сопоставить всю эту номенклатуру невозможно без конкретных зацепок. Но одна есть - в этих очень сложных и длинных названиях есть указание модели от производителя, а это и есть конкретный артикул. Когда вы передали ИИ 20 или 200 тысяч товаров, он конечно что то распознает, но сделает ошибки - у него нет четких правил.
• Новая разработка. Расширение справочника производителей добавляет в него настройку МАСКИ АРТИКУЛОВ. Теперь можно задать любой сложности регулярные выражения артикулов, которые укажут поиску правильный артикул конкретного производителя.
• Функционал встроен одновременно с распознаванием самого производителя. 
• Механизм работает лучше чем ИИ, который использует регулярные выражения, но при большом объеме товаров и разнообразии он не сможет подобрать их верно. Поэтому в данном случае справочник является утонченной корректировкой, с помощью которого вы достигнете максимальной эффективности.
• Также плюс - это все встроенно в отлаженную загрузку в 1С и работает в автоматическом режиме.
• Так как прайсы могут поступать в различных форматах (эксель, csv, xml, api) - данный функционал не зависит от формата. 
• Планируем создать полный классификатор артикулов производителей.

Сегодня очередной прорывной день (какой уже по счету в этом году). Просто хиты в разработке. 

Правила артикулов

Функционал растет на глазах. Новые опции. Это уже практически конструктор.

Создано меню Примеры с готовыми вариантами наиболее частых регулярных выражений.

Мы проанализировали множество моделей ИИ. Пришли к выводу что ни один не работает как надо. На всех прайсах с десятками тысяч товаров все ИИ ошибаются с огромной погрешностью. В 50 процентах случаев ИИ не верно определял артикулы и собирал в артикулы лишние слова. 

Все по той причине что ИИ не видят условий и не анализируют сотни различных ситуаций. Каждый ИИ генерирует ошибочные выражения и сильно ошибается на большом количестве данных.

Поэтому подтверждается то о чем говорят аналитики.Результат возможен только при передаче гораздо большего количества условий.

Регулярные выражения (поиск артикулов с помощью ИИ)

• В интернете есть много сайтов по регулярным выражениям. Вот пример сервиса https://pr-cy.ru/app/regex-helper/. Сервис использует возможности искусственного интеллекта (все известные модели).
• В него можно вставить тексты наименований. Он их разберет полностью и выдаст полные рекомендации по всем частям наименований. Из которых вы можете в точности взять выражение артикулов конкретного производителя. 
• Далее добавить выражения в справочник в вашей 1С (я сделал расширение). И сможете гарантированно 100 процентов не просто определять артикулы, но и гарантированно находить эту номенклатуру в 1С. 
• У производителя может быть множество комбинаций артикулов и выражений. Мы генерируем готовую базу классификатора артикулов.
• UPD. Решили развернуть собственный облачный ИИ для решения всех связанных задач. Как только появится информация мы опубликуем ее тут. 

Скорость и управление

• Тест прайса в 10 000 товаров, поставщик прислал только наименования. 
• Техника - очень длинная и сложная номенклатура. У некоторых производителей указано сразу несколько артикулов. Короткий и длинный (более полный учитывающий характеристики). Например у планшетов может быть разная память и цвет.
• Распознаватель сработал четко. 10 000 позиций - полное распознавание произошло за 0,18 секунды!
• Слева навигация по загружаемому прайсу. Без нее вообще нереально прочитать прайс поставщика, чтобы полностью понять что в нем. Листать такие объемы нереально.
• Навигация - просто чудо в загрузке.Особенно оказалась полезна именно в этой задаче - где распознаватель из наименований получил и производителей и артикулы.

Разбитые артикулы

Распознаватель позволяет генерировать распознавание артикулов, состоящих из раздельных букв и цифр в наименовании (разделенных пробелами).

Даже начинающихся с 1 раздельной буквы.

Можно даже учитывать цвет.

Можно учитывать и ошибки в таких артикулах.

Классификатор артикулов разрастается

В своей базе я генерирую готовый справочник артикулов производителей.

Каждый день добавляются десятки масок.

По каждому производителю может быть подмножество комбинаций артикулов.

Сопоставление номенклатуры

НОВОЕ. Теперь вы можете применять регулярные выражения для всей не сопоставленной номенклатуры. Это могут быть любой сложности регулярные выражения, которые обработают номенклатуру поставщика и оставят для поиска самые важные ключевые слова поиска. Тем самым вы поможете программе ускорить и главное максимально приблизить поиск правильных соответствий. В комбинации с некоторыми опциями данный функционал становится еще мощнее.