图像搜索（Google Lens）

通过 SerpAPI 调用 Google Lens，从图像中识别任意内容。

配置

需设置环境变量 SERPAPI_KEY。可在 https://serpapi.com/ 获取密钥（每月 100 次免费搜索）。

无需安装 pip 依赖项 —— 仅使用 Python 标准库（urllib、json、base64）。

使用方法

通过 CLI / Agent（exec 工具）调用

# 通过图像 URL 搜索
python3 {baseDir}/scripts/lens_search.py "https://example.com/photo.jpg"

# 通过本地文件搜索（自动上传并获取可搜索的 URL）
python3 {baseDir}/scripts/lens_search.py /path/to/image.png

# 结合文本查询进一步筛选（例如：查找某商品的红色版本）
python3 {baseDir}/scripts/lens_search.py "https://example.com/bag.jpg" --query "red"

# 商品搜索（返回价格信息）
python3 {baseDir}/scripts/lens_search.py "https://example.com/sneakers.jpg" --type products

# 查找精确匹配结果（该图像在网页中出现的位置）
python3 {baseDir}/scripts/lens_search.py "https://example.com/photo.jpg" --type exact_matches

# 输出原始 JSON 格式，便于程序化处理
python3 {baseDir}/scripts/lens_search.py "https://example.com/photo.jpg" --json

# 返回本地化结果（例如：日本地区的商品及 ¥ 定价）
python3 {baseDir}/scripts/lens_search.py "https://example.com/laptop.jpg" --type products --country jp

搜索类型

输出格式

脚本输出结构化的 Markdown 内容：

## 已识别实体
- **Danny DeVito** — [链接](https://...)

## 视觉相似结果（前 5 条）
- **Danny DeVito — Wikipedia**（Wikipedia）✅ 精确匹配  
  https://en.wikipedia.org/wiki/Danny_DeVito
- ...

如需缩略图、图像尺寸或其他元数据，请使用 --json 参数获取原始 SerpAPI 响应。

Agent 决策指南

当用户发送一张图像时：

1. 是否已被视觉模型准确识别？ 若主模型已高置信度识别出实体，则跳过反向图像搜索。
2. 识别结果不确定？ 运行 lens_search.py 进行验证，并将模型的猜测结果与 Lens 返回结果进行比对。
3. 需要超出识别范围的详细信息？ 先用 Lens 完成识别，再调用 web_search 获取更深入的内容。
4. 存在购物意图？ 使用 --type products 直接获取价格与购买链接。
5. 用户提供了本地文件？ 脚本会自动上传该文件并生成可用于搜索的 URL。

与其他工具协同使用

典型的多工具协作流程：

1. 用户发送图像 → “这是哪座建筑？”
2. reverse_image_search → 识别为 “Cologne Cathedral”
3. web_search("Cologne Cathedral history architecture") → 获取详细信息
4. 综合视觉匹配结果与网络知识生成最终回答

限制条件

• SerpAPI 免费版：每月 100 次搜索；付费方案起价为 $50/月。
• 本地文件上传使用 freeimage.host（免费）或 imgbb（需配置 IMGBB_API_KEY）。
• Google Lens 的结果因地区而异；可通过 --country 参数指定地区以获取本地化结果。
• 部分小众或长尾实体可能无法返回有效的视觉匹配结果。