Перейти к содержимому
HublinkTech
В разработке
Ara

Один и тот же товар, описанный на языках без общей письменности.

Ara — движок торговой аналитики, который разрабатывает HublinkTech. Его ядро решает, относятся ли два описания — составленные на разных языках, по разным правилам наименования и с разными таможенными кодами — к одному и тому же. Всё остальное, что делает Ara, построено на этом решении. Сначала он работает внутри наших собственных платформ и спроектирован так, чтобы лицензироваться другим организациям в виде API. В разработке.

Задача сопоставления
paslanmaz çelik vida M8 × 40 mm
不锈钢螺栓 M8 × 40 毫米

пространство векторов

рядом — не значит то же самое

торговая онтология

разработана нами

примерHS 7318.15

тот же объект
другой объект
отказаться от ответа
два описания · одно решение · три допустимых ответа

Движок

Три слоя и одно решение в основе.

  1. Ara Core — разрешение

    В разработке

    Товар, компания и код ТН ВЭД, сопоставляемые между языками, с уровнем доверия и возможностью отказаться от ответа. Это исследовательская часть, и она в разработке.

  2. Возможности Ara — на базе Core

    • Подбор между покупателями и поставщиками с обоснованием каждого совпадения

    • Преобразование запросов на котировку в структурированные спецификации

    • Формирование профилей компаний по сайтам и каталогам

    • Классификация по ТН ВЭД с указанием основания каждого решения

    • Проверка контрагентов и товаров

    • Чтение торговых документов: инвойсов, упаковочных листов, сертификатов происхождения

    • Оценка риска маршрута по происхождению, назначению и товару

    • Торговый ассистент, работающий на языке пользователя

    • Сигналы спроса по товарам и рынкам

  3. Ara API — для других платформ

    Те же возможности — для торговых платформ, логистических операторов, торговых палат и банков, обслуживающих экспортёров. Спроектировано, пока недоступно.

Некоторые возможности уже работают внутри Hublinkly на зрелых языковых моделях. Каждая переходит на Ara Core, когда Core проходит тот рубеж, от которого эта возможность зависит.

Задача

Что именно нужно решить.

Покупатель в одной стране описывает товар одним способом. Поставщик в другой описывает, возможно, тот же товар иначе — на другом языке и по другой коммерческой традиции наименования. Между ними стоит таможенный код, которым обязаны пользоваться оба и который две страны применяют по-разному.

Свести эти описания к одной сущности — задача, лежащая под обоими нашими торговыми продуктами. Это не задача перевода. Слова могут быть переведены правильно и всё равно не встретиться, потому что категории за ними изначально проведены по-разному.

Коды ТН ВЭД — самое близкое к общему справочнику, и применяются они между юрисдикциями непоследовательно: один и тот же товар оказывается в разных товарных позициях в зависимости от того, кто и зачем его классифицирует. Национальные классификации достраивают общую часть кода в направлениях, которые между собой не согласованы. То есть сам справочник ненадёжен, описания написаны на языках без общей письменности, а правильный ответ иногда оспаривается двумя ведомствами, каждое из которых право в своей юрисдикции.

пример

HS 7318.15

Неопределённость

Чего мы пока не знаем.

Это открытые вопросы, и они записаны как вопросы, потому что не решены. На каждый можно получить отрицательный ответ — и такой ответ меняет то, что будет построено.

01

Переживает ли смысловое сопоставление смену письменности?

Сопоставление на эмбеддингах опирается на допущение, что смысл сохраняется при переносе в общее векторное пространство. Выполняется ли это между языками без общей письменности, без общего коммерческого словаря для рассматриваемых товаров и с разной традицией наименования товара покупателю, мы не готовы принимать на веру из опубликованных результатов на общих текстах. Это нужно измерять на торговых описаниях, по каждому языку отдельно.

02

Обобщается ли онтология одного коридора на другой?

Онтология строится из коридоров, которые мы знаем. Является ли закодированная в ней структура общей для торговли или специфичной для этих коридоров, неизвестно, пока она не проверена на коридоре, из которого она не писалась. Структура, работающая только там, где её написали, — это таблица подстановки под именем онтологии.

03

Как система понимает, что отвечать не следует?

Сопоставитель, всегда возвращающий ближайшего кандидата, здесь бесполезен: уверенная неверная классификация обходится дороже, чем отсутствие классификации. Где проходит граница между совпадением, ранжированным набором кандидатов и отказом — и можно ли вывести эту границу из собственных сигналов модели, а не из вручную заданного порога, — остаётся открытым.

Метод

Как мы это проверяем.

Метод выбран так, чтобы отрицательный результат читался: когда что-то не работает, мы хотим знать, какая именно часть не сработала.

[01]

Смысловое сопоставление на эмбеддингах

Описания разрешаются по смыслу, а не по совпадению строк, чтобы товар, названный одним образом на одном рынке, мог встретиться с тем же товаром, названным иначе на другом. Эмбеддинг здесь — проверяемая часть, а не принимаемая на веру.

[02]

Торговая онтология собственной разработки

Онтология кодирует то, что коды оставляют неявным: как товары соотносятся друг с другом и где расходятся национальные достройки. Мы строим её сами, потому что не нашли ничего, что покрывало бы наши коридоры с нужной задаче детализацией. Это же и тот компонент, который можно осмотреть, когда совпадение оказалось неверным.

[03]

Оценка по каждому языку, против человеческого эталона

Каждый язык оценивается на собственном наборе, а не считается унаследовавшим качество от английского, и эталоном выступает человек, делающий ту же работу. Ничто не продвигается по агрегированной метрике — агрегат скрывает ровно те языки, в которых мы менее всего уверены.

[04]

Отказ как измеряемый исход

То, отказывается ли система отвечать, измеряется наравне с тем, права ли она. Прогон, отвечающий на всё, и прогон, отвечающий только на то, на что следует, — это не один и тот же результат, и пригоден в комплекте документов только один из них.

Этапы

Что должно подтвердиться до начала следующего.

У каждого этапа есть ворота. Ворота — это не дата и не метрика, которую нужно превзойти, а то, что должно стать демонстрируемым, прежде чем следующий этап имеет смысл начинать.

  1. 01 / 04

    Эталон внутри одного языка

    Ворота

    Устойчивый оценочный набор и эталон, измеренный одинаково для человека и для системы. Без этого любое последующее сравнение идёт против движущейся цели.

    Собрать оценочный набор и человеческий эталон и показать, что смысловое сопоставление превосходит строковое внутри одного языка — до того, как сделано хоть одно межъязыковое утверждение.

  2. 02 / 04

    Между письменностями

    Ворота

    Разрыв с одноязычным эталоном должен быть атрибутируемым. Мы должны уметь сказать, какие ошибки идут от эмбеддинга, какие от онтологии, а какие от самой системы кодов. Если ошибки не атрибутируются, этап не закрыт, как бы хорошо ни выглядел агрегат.

    Выполнить ту же задачу разрешения между языками без общей письменности и сравнить с одноязычным эталоном, полученным на первом этапе.

  3. 03 / 04

    Перенос на незнакомый коридор

    Ворота

    Либо структура держится, либо мы можем точно сказать, что пришлось добавить — и является ли это добавление общим или очередным частным случаем. Список частных случаев и есть отрицательный результат этого этапа.

    Применить онтологию к коридору, из которого она не писалась, не достраивая её заранее, и зафиксировать, где она ломается.

  4. 04 / 04

    Отказ и уверенность

    Ворота

    Отказ коррелирует с реальной ошибкой, а не с непривычной формулировкой. Пока это не так, сигнал уверенности не является сигналом уверенности, и компонент нельзя ставить перед поставкой.

    Решить, когда система отвечает, когда возвращает ранжированный набор, а когда отказывается, — и вывести это решение из её собственных сигналов, а не из подобранного порога.

Где работает Ara

Один движок, несколько потребителей.

Hublinkly — первая платформа

Hublinkly — это сеть компаний для международной торговли и первая платформа, в которой работает Ara. Каждое совпадение, которое участник принимает, отклоняет или исправляет, становится свидетельством для следующей версии движка.

Clavix360

Clavix360 — это AI CRM и ERP. Ara спроектирована так, чтобы работать внутри неё: товары, поставщики и клиенты, записанные на одном языке, читаются на другом.

API

Для организаций, которым нужно то же решение внутри собственных систем. Спроектировано, пока недоступно.

Почему движок разрабатывается отдельно

Ara разрабатывается отдельно от платформ, в которых работает. Hublinkly — потребитель Ara, а не её владелец. Настолько открытый компонент следует проверять на его собственных условиях, прежде чем от него что-то зависит.

В разработке

Ara находится в разработке.

Если вы торгуете между рынками, где описания и таможенные коды не совпадают, нам интересно, как вы решаете это сегодня. Самое полезное, что вы можете прислать, — реальные описания товаров из вашей торговли, на тех языках, на которых вы их получаете.