语义匹配能否跨越文字体系的改变?
基于向量嵌入的匹配,依赖于「语义在进入共享向量空间后仍然保留」这一假设。在没有共同文字体系、对相关货物没有共通商业词汇、且面向客户的商品命名习惯也不同的语言之间,这一假设是否成立,我们不愿从通用文本上的已发表结果中直接假定。它必须在贸易描述上、按每种语言分别测量。
引擎
跨语言解析产品、公司与 HS 编码,给出置信度,并可选择拒绝作答。这是研究部分,正在开发中。
买方与供应商匹配,并给出每次匹配的理由
将询价请求解析为结构化规格
依据网站与产品目录构建公司档案
HS 归类,并标明每项判定的依据
交易方与货物筛查
读取贸易单证:发票、装箱单、原产地证书
按起运地、目的地与产品评估路线风险
以用户自身语言工作的贸易助手
按产品与市场划分的需求信号
同样的能力,面向贸易平台、物流服务商、商会以及服务出口企业的银行。已完成设计,尚未开放。
部分能力已在 Hublinkly 内基于成熟语言模型运行。每项能力会在 Ara Core 通过其所依赖的关卡后迁移到 Core 上。
问题
一个国家的买家用一种方式描述商品。另一个国家的供应商用另一种语言、另一套商业命名习惯,描述可能是同一件的商品。两者之间是一个双方都应当使用、而两国用法并不一致的海关编码。
把这些描述归并为同一个实体,是我们两个贸易产品共同的底层问题。它不是翻译问题:词语可以被正确翻译,却依然对不上,因为它们背后的类别从一开始就是按不同方式划分的。
HS 编码是最接近通用参照的东西,而它在各法域之间的适用并不一致:同一件货物会因归类者是谁、出于什么目的,而落在不同的税目之下。各国的本国分类在通用编码之上向彼此并不对齐的方向延伸。也就是说,参照本身并不可靠,描述写在没有共同文字体系的语言里,而正确答案有时在两个各自在本法域内都正确的主管机关之间存在争议。
HS 7318.15
不确定性
这些是尚未有定论的开放问题,因此以问句写出。每一个都可能得到否定的答案,而否定的答案会改变最终要构建的东西。
基于向量嵌入的匹配,依赖于「语义在进入共享向量空间后仍然保留」这一假设。在没有共同文字体系、对相关货物没有共通商业词汇、且面向客户的商品命名习惯也不同的语言之间,这一假设是否成立,我们不愿从通用文本上的已发表结果中直接假定。它必须在贸易描述上、按每种语言分别测量。
本体是从我们熟悉的通道中构建出来的。它所编码的结构究竟是贸易的普遍结构,还是那些通道的特有结构,在未针对一条并非其来源的通道做检验之前无从得知。只在被写就之处有效的结构,不过是一张顶着本体之名的查找表。
在这里,总是返回最近候选的匹配器毫无用处:一个自信的错误归类,代价高于不作归类。匹配、候选排序集合与拒答之间的边界落在何处——以及这条边界能否从模型自身的信号中推导出来,而非依靠人工设定的阈值——仍然是开放的。
方法
方法的选择,是为了让否定结果可被读懂:当某处失败时,我们希望知道失败的是哪一部分。
描述按语义而非字符重合度进行消解,使得在一个市场里以某种方式命名的商品,能够与另一个市场里以另一种方式命名的同一商品相遇。嵌入在这里是被检验的部分,而不是被假定的部分。
本体编码了编码体系留作隐含的内容:货物之间如何关联,以及各国延伸在何处分叉。我们自己构建它,是因为没有找到任何能以该问题所需粒度覆盖我们所处通道的现成资源。它也是匹配出错时我们能够检视的那个组件。
每种语言都在各自的评测集上评估,而不是假定从英语继承质量;基线是做同一件事的人。没有任何结论依据总体分数推进——总体分数恰恰掩盖了我们最没有把握的那些语言。
系统是否拒绝作答,与它是否正确一并被计量。一次对所有问题都作答的运行,和一次只回答该回答之问题的运行,并不是同一个结果,而其中只有一个能放进单证文件里。
阶段
每个阶段都有一道关口。关口不是日期,也不是要超过的分数,而是在下一阶段值得开始之前、必须变得可被展示的东西。
01 / 04
一个稳定的评测集,以及对人与系统以同一方式测得的基线。没有这一点,之后的每次比较都是在对着一个移动的靶子。
建立评测集与人工基线,并在提出任何跨语言主张之前,先证明语义匹配在单一语言内胜过字符串匹配。
02 / 04
与单语基线之间的差距必须可归因。我们要能说清哪些错误来自嵌入、哪些来自本体、哪些来自编码体系本身。若错误无法归因,无论总体数字多好看,这一阶段都没有关闭。
在没有共同文字体系的语言之间执行同一项消解任务,并与第一阶段建立的单语基线作比较。
03 / 04
要么结构成立,要么我们能准确说出必须补充了什么——以及这项补充是普遍性的,还是又一个特例。一份特例清单,就是这一阶段的否定结果。
在不预先扩充本体的前提下,把它应用于一条并非其来源的通道,并记录它在何处失效。
04 / 04
拒答与真实错误相关,而不是与表述陌生相关。在做到这一点之前,置信信号并不是置信信号,该组件也不能被放到一票货物之前。
决定系统何时作答、何时返回排序候选集、何时拒答,并让这一判断来自它自身的信号,而非调校出来的阈值。
Ara 在哪里运行
Hublinkly 是面向全球贸易的企业网络,也是 Ara 运行的第一个平台。成员接受、拒绝或更正的每一次匹配,都会成为引擎下一版本的证据。
Clavix360 是一套 AI CRM 与 ERP。Ara 按在其内部运行来设计,使以一种语言记录的产品、供应商与客户,能够以另一种语言读取。
面向需要在自有系统中获得同一判断的机构。已完成设计,尚未开放。
Ara 独立于它所运行的平台进行开发。Hublinkly 是 Ara 的使用方,而非其所有者。如此开放的组件,应当在任何东西依赖它之前,按自身的标准接受检验。