使用 llamaextract 和 pydantic 模型提取商店收据

在本文中，我们将探索如何使用 llamaextract 与 pydantic 模型中的模式相结合，以便从商店收据中提取结构化数据。这种方法有助于系统地组织收据信息，使其更易于分析和管理。

设置

首先，确保您安装了 llama-extract 客户端库。使用以下命令：

pip install llama-extract pydantic

注意： 如果您看到有关更新 pip 的通知，您可以使用提供的命令进行更新。

首先，登录llama index cloud并免费获取一个api-key

为您的 llamaextract api 密钥设置环境变量：

import os

os.environ["llama_cloud_api_key"] = "your llama index cloud api here"

加载数据

对于此示例，假设我们有一个 pdf 格式的商店收据数据集。将这些文件放在名为receipts的目录中。

data_dir = "data/receipts"
fnames = os.listdir(data_dir)
fnames = [fname for fname in fnames if fname.endswith(".pdf")]
fpaths = [os.path.join(data_dir, fname) for fname in fnames]
fpaths

输出应列出收据的文件路径：

['data/receipts/receipt.pdf']

定义 pydantic 模型

我们将使用 pydantic 定义我们的数据模型，这将告诉 api 我们期望或想要从 pdf 中提取哪些字段/数据。对于商店收据，我们可能有兴趣提取商店名称、日期、总金额和购买的商品列表。

from pydantic import basemodel
from typing import list

class item(basemodel):
    name: str
    quantity: int
    price: float

class receipt(basemodel):
    store_name: str
    date: str
    total_amount: float
    items: list[item]

创建架构

现在，我们可以使用 pydantic 模型在 llamaextract 中定义提取模式。

from llama_extract import llamaextract

extractor = llamaextract(verbose=true)
schema_response = await extractor.acreate_schema("receipt schema", data_schema=receipt)
schema_response.data_schema

输出架构应类似于以下内容：

{
    'type': 'object',
    '$defs': {
        'item': {
            'type': 'object',
            'title': 'item',
            'required': ['name', 'quantity', 'price'],
            'properties': {
                'name': {'type': 'string', 'title': 'name'},
                'quantity': {'type': 'integer', 'title': 'quantity'},
                'price': {'type': 'number', 'title': 'price'}
            }
        }
    },
    'title': 'receipt',
    'required': ['store_name', 'date', 'total_amount', 'items'],
    'properties': {
        'store_name': {'type': 'string', 'title': 'store name'},
        'date': {'type': 'string', 'title': 'date'},
        'total_amount': {'type': 'number', 'title': 'total amount'},
        'items': {
            'type': 'array',
            'title': 'items',
            'items': {'$ref': '#/$defs/item'}
        }
    }
}

运行提取

定义模式后，我们现在可以从收据文件中提取结构化数据。通过指定收据作为响应模型，我们确保提取的数据经过验证和结构化。

responses = await extractor.aextract(
    schema_response.id, fpaths, response_model=receipt
)

如果需要，您可以访问原始 json 输出：

data = responses[0].data
print(data)

json 输出示例：

{
    'store_name': 'ABC Electronics',
    'date': '2024-08-05',
    'total_amount': 123.45,
    'items': [
        {'name': 'Laptop', 'quantity': 1, 'price': 999.99},
        {'name': 'Mouse', 'quantity': 1, 'price': 25.00},
        {'name': 'Keyboard', 'quantity': 1, 'price': 50.00}
    ]
}

结论

在本文中，我们演示了如何将 llamaextract 与 pydantic 模型结合使用来定义数据模式并从商店收据中提取结构化数据。这种方法可确保提取的信息组织良好且经过验证，从而更易于处理和分析。

这也可用于许多案例、发票、收据、报告等。

快乐编码！！

你有一个项目?想让我帮你发邮件给我??：wilbertmisingo@gmail.com

有疑问或想成为第一个了解我的帖子的人：-
在 linkedin 上关注 ✅ 我?
在 twitter/x 上关注 ✅ 我?