AraAra — исследовательский проект HublinkTech. Его ядро — межъязыковое разрешение сущностей поверх торговой онтологии, которую мы разрабатываем сами: решение о том, обозначают ли два описания, написанные на разных языках и по разным правилам наименования, одно и то же. Проект в разработке.
пространство векторов
рядом — не значит то же самое
торговая онтология
разработана нами
примерHS 7318.15
Задача
Покупатель в одной стране описывает товар одним способом. Поставщик в другой описывает, возможно, тот же товар иначе — на другом языке и по другой коммерческой традиции наименования. Между ними стоит таможенный код, которым обязаны пользоваться оба и который две страны применяют по-разному.
Свести эти описания к одной сущности — задача, лежащая под обоими нашими торговыми продуктами. Это не задача перевода. Слова могут быть переведены правильно и всё равно не встретиться, потому что категории за ними изначально проведены по-разному.
Коды ТН ВЭД — самое близкое к общему справочнику, и применяются они между юрисдикциями непоследовательно: один и тот же товар оказывается в разных товарных позициях в зависимости от того, кто и зачем его классифицирует. Национальные классификации достраивают общую часть кода в направлениях, которые между собой не согласованы. То есть сам справочник ненадёжен, описания написаны на языках без общей письменности, а правильный ответ иногда оспаривается двумя ведомствами, каждое из которых право в своей юрисдикции.
HS 7318.15
Неопределённость
Это открытые вопросы, и они записаны как вопросы, потому что не решены. На каждый можно получить отрицательный ответ — и такой ответ меняет то, что будет построено.
Сопоставление на эмбеддингах опирается на допущение, что смысл сохраняется при переносе в общее векторное пространство. Выполняется ли это между языками без общей письменности, без общего коммерческого словаря для рассматриваемых товаров и с разной традицией наименования товара покупателю, мы не готовы принимать на веру из опубликованных результатов на общих текстах. Это нужно измерять на торговых описаниях, по каждому языку отдельно.
Онтология строится из коридоров, которые мы знаем. Является ли закодированная в ней структура общей для торговли или специфичной для этих коридоров, неизвестно, пока она не проверена на коридоре, из которого она не писалась. Структура, работающая только там, где её написали, — это таблица подстановки под именем онтологии.
Сопоставитель, всегда возвращающий ближайшего кандидата, здесь бесполезен: уверенная неверная классификация обходится дороже, чем отсутствие классификации. Где проходит граница между совпадением, ранжированным набором кандидатов и отказом — и можно ли вывести эту границу из собственных сигналов модели, а не из вручную заданного порога, — остаётся открытым.
Метод
Метод выбран так, чтобы отрицательный результат читался: когда что-то не работает, мы хотим знать, какая именно часть не сработала.
Описания разрешаются по смыслу, а не по совпадению строк, чтобы товар, названный одним образом на одном рынке, мог встретиться с тем же товаром, названным иначе на другом. Эмбеддинг здесь — проверяемая часть, а не принимаемая на веру.
Онтология кодирует то, что коды оставляют неявным: как товары соотносятся друг с другом и где расходятся национальные достройки. Мы строим её сами, потому что не нашли ничего, что покрывало бы наши коридоры с нужной задаче детализацией. Это же и тот компонент, который можно осмотреть, когда совпадение оказалось неверным.
Каждый язык оценивается на собственном наборе, а не считается унаследовавшим качество от английского, и эталоном выступает человек, делающий ту же работу. Ничто не продвигается по агрегированной метрике — агрегат скрывает ровно те языки, в которых мы менее всего уверены.
То, отказывается ли система отвечать, измеряется наравне с тем, права ли она. Прогон, отвечающий на всё, и прогон, отвечающий только на то, на что следует, — это не один и тот же результат, и пригоден в комплекте документов только один из них.
Этапы
У каждого этапа есть ворота. Ворота — это не дата и не метрика, которую нужно превзойти, а то, что должно стать демонстрируемым, прежде чем следующий этап имеет смысл начинать.
01 / 04
Устойчивый оценочный набор и эталон, измеренный одинаково для человека и для системы. Без этого любое последующее сравнение идёт против движущейся цели.
Собрать оценочный набор и человеческий эталон и показать, что смысловое сопоставление превосходит строковое внутри одного языка — до того, как сделано хоть одно межъязыковое утверждение.
02 / 04
Разрыв с одноязычным эталоном должен быть атрибутируемым. Мы должны уметь сказать, какие ошибки идут от эмбеддинга, какие от онтологии, а какие от самой системы кодов. Если ошибки не атрибутируются, этап не закрыт, как бы хорошо ни выглядел агрегат.
Выполнить ту же задачу разрешения между языками без общей письменности и сравнить с одноязычным эталоном, полученным на первом этапе.
03 / 04
Либо структура держится, либо мы можем точно сказать, что пришлось добавить — и является ли это добавление общим или очередным частным случаем. Список частных случаев и есть отрицательный результат этого этапа.
Применить онтологию к коридору, из которого она не писалась, не достраивая её заранее, и зафиксировать, где она ломается.
04 / 04
Отказ коррелирует с реальной ошибкой, а не с непривычной формулировкой. Пока это не так, сигнал уверенности не является сигналом уверенности, и компонент нельзя ставить перед поставкой.
Решить, когда система отвечает, когда возвращает ранжированный набор, а когда отказывается, — и вывести это решение из её собственных сигналов, а не из подобранного порога.
Где это применяется
Движок разрешения строится не только для Ara. Оба наших торговых продукта задают вариант одного и того же вопроса — но к разному справочнику.
Является ли то, что предлагает одна компания, и то, что закупает другая, одним и тем же, описанным по-разному двумя бизнесами на двух рынках. Справочником с другой стороны выступает каталог другой компании.
Соответствует ли описание на обычном языке позиции в нормативном справочнике — чтобы классификация, пошлины и документы отвечались по нему с приложенными источниками, а не угадывались.
Он исследуется отдельно от обоих продуктов по той же причине, по которой описан здесь как неопределённый: настолько открытый компонент не стоит обнаруживать внутри того, что уже поставляется клиентам.
В разработке
Мы разрабатываем Ara в Стамбуле как часть прикладного ИИ-исследования HublinkTech. Если вы торгуете на коридорах, где эта задача стоит и перед вами, нам интересно услышать, как вы решаете её сегодня.
