本文介绍一种基于大语言模型（llm）的自动化方案，将不同语言电影标题中表示“and”的词汇（如 &、e、et、und、and 等）标准化为规范英文标题，从而解决跨语言数据合并时因连接词差异导致的匹配失败问题。
本文介绍一种基于大语言模型（llm）的自动化方案，将不同语言电影标题中表示“and”的词汇（如 &、e、et、und、and 等）标准化为规范英文标题，从而解决跨语言数据合并时因连接词差异导致的匹配失败问题。
在处理多源影视数据时，一个常见但棘手的问题是：同一部电影在不同语言语境下标题使用了本地化的并列连接词（如德语 und、法语 et、意大利语 e、英语 and 或符号 &），导致直接字符串匹配或简单正则替换完全失效。例如：
import pandas as pd
df1 = pd.DataFrame({'film': ['Beavis & Butthead', 'Bonnie e Clyde', 'Adam & Eve']})
df2 = pd.DataFrame({'film': ['Beavis und Butthead', 'Bonnie & Clyde', 'Adam et Eve']})若直接执行 pd.merge(df1, df2, left_on='film', right_on='film')，将零匹配——因为 'Beavis & Butthead' ≠ 'Beavis und Butthead'，且无法通过预设映射表穷举所有语言变体（尤其当语言未知、缩写/拼写不规范、存在文化特例时）。
此时，传统 NLP 方法（如停用词过滤、规则替换、音译对齐）易引入过度清洗或误判；而基于翻译 API 的逐词替换又缺乏语义上下文，难以处理如 “Bonnie e Clyde” → “Bonnie and Clyde” 这类需识别专有名词+语法结构的场景。
更鲁棒的解法是语义归一化（Semantic Normalization）：借助大语言模型理解标题整体语义，输出权威英文官方名称。 该方法不依赖语言识别前置步骤，而是让模型基于全球影视知识库（如 IMDb、TMDB 风格命名惯例）推理出标准英文标题。
以下为可落地的实现流程（以 dpq 库调用 OpenAI GPT-3.5-turbo 为例）：
from dpq import Agent
# 初始化 LLM 接口（需配置有效 API Key）
dpq_agent = Agent(
url="https://api.openai.com/v1/chat/completions",
api_key="sk-...", # 替换为你的 OpenAI API Key
model="gpt-3.5-turbo",
)
# 定义系统指令：严格限定输出仅为标准英文片名，强调拼写准确性与官方性
messages = [
{
"role": "system",
"content": "You only return the official English title of a movie. "
"Preserve correct capitalization, hyphenation, and punctuation. "
"Never add explanations, quotes, or extra text."
},
{"role": "user", "content": "Beavis & Butthead"},
{"role": "assistant", "content": "Beavis and Butt-Head"},
{"role": "user", "content": "Bonnie e Clyde"},
{"role": "assistant", "content": "Bonnie and Clyde"},
]
# 封装为可批量调用的函数
dpq_agent.get_official_title = dpq_agent.generate_function(messages)
# 应用于两数据集
df1['film_en'] = dpq_agent.get_official_title(df1['film'])
df2['film_en'] = dpq_agent.get_official_title(df2['film'])
# 现在可安全合并
merged = pd.merge(df1, df2, left_on='film_en', right_on='film_en', how='inner')
print(merged[['film_x', 'film_en', 'film_y']])✅ 输出示例：
film_x film_en film_y 0 Beavis & Butthead Beavis and Butt-Head Beavis und Butthead 1 Bonnie e Clyde Bonnie and Clyde Bonnie & Clyde
关键注意事项：
- 成本与延迟权衡： LLM 调用按 token 计费，建议对去重后的唯一标题批量处理（而非逐行），并启用缓存（如 functools.lru_cache 或本地 SQLite 映射表）避免重复请求；
- 可靠性增强： 可添加后处理校验——例如用 fuzzywuzzy 对原始标题与 LLM 输出做相似度打分，低于阈值（如 0.7）时标记人工复核；
- 合规与隐私： 敏感/未公开数据应避免直传至公有云 LLM；可选用开源本地模型（如 llama3:8b + Ollama）配合提示工程替代；
- 领域适配： 若数据集中含大量小众/非英语电影，可在 system prompt 中追加指令："Prefer titles from IMDb or Wikipedia English pages. If uncertain, output the original unchanged." 以控制幻觉风险。
综上，面对无先验语言标签、连接词高度异构的文本对齐任务，放弃“硬规则”转向“语义归一”，是兼顾准确性、扩展性与工程可行性的现代解决方案。
