讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在 Qdrant 中安全地向现有图像集合追加新数据(而非覆盖重置)

风磊大大_6162

风磊大大_6162

发布时间:2026-02-01 11:21:14

|

827人浏览过

|

来源于php中文网

原创

如何在 Qdrant 中安全地向现有图像集合追加新数据(而非覆盖重置)

qdrant 支持对已有集合动态追加向量与元数据,关键在于避免使用 `recreate_collection`(会清空旧数据),而应首次创建时调用 `create_collection`,后续新增图像则直接调用 `upsert` 或 `upload_records`。同时需确保每条记录 id 全局唯一。

在您当前的代码中,问题根源明确:qclient.recreate_collection(...) 每次执行都会强制删除已有同名集合,并新建一个空集合——这正是旧图像丢失的根本原因。Qdrant 的设计哲学是「集合即长期存储单元」,一旦创建完成,就应持续复用,而非反复重建。

✅ 正确做法:分离「建库」与「入库」逻辑

  • 首次初始化集合:仅在系统首次运行或需要重置时调用 create_collection(推荐配合 collection_exists() 判断);
  • 日常新增图像:直接使用 upload_records(批量)或 upsert(单条/小批量),无需重建集合;
  • ID 管理至关重要:所有新记录的 id 必须与历史记录不冲突(建议使用 UUID、时间戳+哈希、或自增全局计数器)。

以下是重构后的核心逻辑示例(仅展示关键修改部分):

PyTorch Linux版 2.11.0
PyTorch Linux版 2.11.0

PyTorch 2.11.0 历史版本下载,来自 PyPI 官方发布,适合旧项目兼容、实验复现和指定环境安装。

下载
# ✅ 安全创建集合:仅当不存在时才创建
if not qclient.collection_exists(collection_name=collection_name):
    qclient.create_collection(
        collection_name=collection_name,
        vectors_config=VectorParams(
            size=embedding_length,
            distance=Distance.COSINE
        )
    )
    print(f"✅ Collection '{collection_name}' created.")
else:
    print(f"ℹ️  Collection '{collection_name}' already exists. Skipping creation.")

# ✅ 生成唯一 ID(避免覆盖!)
import uuid
records = [
    models.Record(
        id=str(uuid.uuid4()),  # 强烈推荐:UUID 保证全局唯一性
        payload=payload_dicts[idx],
        vector=embeddings[idx].tolist()  # 注意:Qdrant 接受 list[float],非 torch.Tensor
    )
    for idx in range(len(payload_dicts))
]

# ✅ 追加写入(不会影响已有数据)
qclient.upload_records(
    collection_name=collection_name,
    records=records,
    batch_size=64  # 可选:提升大批量插入性能
)
print(f"✅ Successfully added {len(records)} new images.")

⚠️ 注意事项与最佳实践

  • 向量类型转换:embeddings[idx] 是 PyTorch 张量,Qdrant 要求 list[float],务必调用 .tolist();
  • ID 冲突风险:若沿用 idx 作为 ID(如 id=idx),新批次的索引将从 0 开始,必然覆盖旧数据 —— 这是比 recreate_collection 更隐蔽的丢失原因;
  • 幂等性保障:生产环境建议结合 payload 中的 image_url 字段构建唯一键(如通过 scroll + filter 预查重复),或使用 upsert 配合自定义 points ID 实现精准更新;
  • 性能优化:单次上传超 1000 条记录时,启用 batch_size 参数可显著减少网络往返开销;
  • 错误处理:实际部署中应包裹 try/except 捕获 UnexpectedResponse 或 ResponseHandlingException,并记录失败详情。

总结而言,Qdrant 天然支持增量索引构建——您完全可以在模型迭代、图像库扩容、用户上传等场景中,安全、高效、无损地向现有集合追加任意数量的新图像。只需牢记两个原则:一次建库,多次追加;ID 唯一,绝不覆盖。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

6847

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

804

2025.10.23

C++类型转换方式
C++类型转换方式

本专题整合了C++类型转换相关内容,想了解更多相关内容,请阅读专题下面的文章。

2402

2025.07.15

pytorch是干嘛的
pytorch是干嘛的

pytorch是一个基于python的深度学习框架,提供以下主要功能:动态图计算,提供灵活性。强大的张量操作,实现高效处理。自动微分,简化梯度计算。预构建的神经网络模块,简化模型构建。各种优化器,用于性能优化。想了解更多pytorch的相关内容,可以阅读本专题下面的文章。

2303

2024.05.29

Python AI机器学习PyTorch教程_Python怎么用PyTorch和TensorFlow做机器学习
Python AI机器学习PyTorch教程_Python怎么用PyTorch和TensorFlow做机器学习

PyTorch 是一种用于构建深度学习模型的功能完备框架,是一种通常用于图像识别和语言处理等应用程序的机器学习。 使用Python 编写,因此对于大多数机器学习开发者而言,学习和使用起来相对简单。 PyTorch 的独特之处在于,它完全支持GPU,并且使用反向模式自动微分技术,因此可以动态修改计算图形。

68

2025.12.22

PHP 高并发与性能优化
PHP 高并发与性能优化

本专题聚焦 PHP 在高并发场景下的性能优化与系统调优,内容涵盖 Nginx 与 PHP-FPM 优化、Opcode 缓存、Redis/Memcached 应用、异步任务队列、数据库优化、代码性能分析与瓶颈排查。通过实战案例(如高并发接口优化、缓存系统设计、秒杀活动实现),帮助学习者掌握 构建高性能PHP后端系统的核心能力。

18093

2025.10.16

PHP 数据库操作与性能优化
PHP 数据库操作与性能优化

本专题聚焦于PHP在数据库开发中的核心应用,详细讲解PDO与MySQLi的使用方法、预处理语句、事务控制与安全防注入策略。同时深入分析SQL查询优化、索引设计、慢查询排查等性能提升手段。通过实战案例帮助开发者构建高效、安全、可扩展的PHP数据库应用系统。

433

2025.11.13

JavaScript 性能优化与前端调优
JavaScript 性能优化与前端调优

本专题系统讲解 JavaScript 性能优化的核心技术,涵盖页面加载优化、异步编程、内存管理、事件代理、代码分割、懒加载、浏览器缓存机制等。通过多个实际项目示例,帮助开发者掌握 如何通过前端调优提升网站性能,减少加载时间,提高用户体验与页面响应速度。

328

2025.12.30

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

60

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn