在 Python 中使用 LASER 嵌入进行文本标识符的语义匹配

使用 OCR 数字化财务报告时，您可能会遇到各种方法来检测这些报告中的特定类别。例如，像 Levenshtein 算法这样的传统方法可以用于基于编辑距离的字符串匹配，使其能够有效地处理近似匹配，例如纠正拼写错误或文本中的微小变化。

但是，当您需要在报告的一行中检测多个类别时，尤其是当这些类别可能不完全按照预期显示或可能在语义上重叠时，挑战会变得更加复杂。

在这篇文章中，我们分析了使用 Facebook 的 LASER（与语言无关的 SEntence Representations）嵌入的语义匹配方法，展示了它如何有效地处理此任务。

问题

目标是识别给定文本行中的特定财务术语（类别）。假设我们有一组固定的预定义类别，代表所有可能感兴趣的术语，例如：

[“收入”、“营业费用”、“营业利润”、“折旧”、“利息”、“净利润”、“税金”、“税后利润”、“指标 1”]

给定一个输入行，例如：

“营业利润、净利润和税后利润”

我们的目标是检测此行中出现哪些标识符。

激光语义匹配

我们不依赖精确或模糊的文本匹配，而是使用语义相似性。这种方法利用激光嵌入来捕获文本的语义，并使用余弦相似度进行比较。

执行

预处理文本

在嵌入之前，通过将文本转换为小写并删除多余的空格来对文本进行预处理。这确保了一致性。

def preprocess(text):
    return text.lower().strip()

嵌入标识符和输入线

激光编码器为标识符列表和输入/OCR 行生成标准化嵌入。

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

按特异性对标识符进行排名

较长的标识符会根据字数进行排序。这有助于处理嵌套匹配，其中较长的标识符可能包含较短的标识符（例如，“税后利润”包含“利润”）。

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

计算相似度

使用余弦相似度，我们测量每个标识符与输入行在语义上的相似程度。相似度高于指定阈值的标识符被视为匹配。

matches = []
threshold = 0.6

for idx, identifier_embedding in enumerate(ranked_embeddings):
    similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0]
    if similarity >= threshold:
        matches.append((ranked_identifiers[idx], similarity))

解析嵌套匹配

为了处理重叠的标识符，会优先考虑较长的匹配，确保排除其中较短的匹配。

def preprocess(text):
    return text.lower().strip()

结果

执行代码时，输​​出会提供检测到的匹配项及其相似度分数的列表。对于示例输入：

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

较长且复杂的输入的注意事项

此方法适用于单行包含多个类别的结构化财务报告，前提是没有太多类别或太多不相关的文本。然而，随着较长、复杂的输入或非结构化的用户生成的文本的出现，准确性可能会降低，因为嵌入可能很难专注于相关类别。对于嘈杂或不可预测的输入，它的可靠性较差。

结论

这篇文章演示了激光嵌入如何成为检测文本中多个类别的有用工具。这是最好的选择吗？也许不是，但这肯定是值得考虑的选项之一，尤其是在处理传统匹配技术可能无法满足的复杂场景时。

完整代码

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

以上是在 Python 中使用 LASER 嵌入进行文本标识符的语义匹配的详细内容。更多信息请关注PHP中文网其他相关文章！