在Sqlite中检索增强发电
这个分为两部分的系列使用SQLite进行机器学习探索。 上一篇文章讨论了SQLite在生产就绪的Web应用程序中的越来越多的作用。本文着重于使用sqlite实施检索功能。
>>用于使用生成AI的自定义Web应用程序,请访问losangelesaiapps.com >
代码可用>在此处。。
传统的抹布实施通常涉及:
- >在抹布上搜索教程。
- 选择一个流行的框架(Langchain,LlamainDex)。
- 选择一个云向量数据库(Pinecone,Weaviate)。 >
- 集成这些组件。
- 有效,这种方法可能过于复杂,尤其是对于初学者而言。 本文使用SQLITE和
>
sqlite-vec
这种方法消除了对云矢量数据库和笨重框架的需求。
Sqlite的强度在于其可扩展性。 与Python库类似的扩展名添加了C中写入的功能。一个很好的示例是全文搜索(FTS)扩展。 添加矢量搜索功能,从而使语义理解超出关键字匹配。 寻找“马”可能会返回“马术”或“小马”。
使用虚拟表,提供:sqlite-vec
>sqlite-vec
>自定义数据源:
- 灵活功能:支持专业的索引和复杂的数据类型。
- >无缝集成:与标准sqlite查询语法集成。
- 后端逻辑是在单独的模块中实现的。 使用: >创建虚拟表
- >指定模块(在此,
CREATE VIRTUAL TABLE my_table USING my_extension_module();
my_extension_module()
vec0
代码(sqlite-vec
repo link
文件作为示例数据(主要是物理相关)。 是sqlite数据库文件。
,- ,
- )。创建一个虚拟环境并运行
requirements.txt
sqlite-vec
>openai
openai api键:python-dotenv
获取openai api键。pip install -r requirements.txt
-
> 加载扩展名:python代码加载
sqlite-vec
>扩展名并创建一个虚拟表:
CREATE VIRTUAL TABLE my_table USING my_extension_module();
documents
表存储嵌入式(embedding
),fileNames(file_name
)和content(content
)。
表示辅助字段。
- >>嵌入和插入:
.txt
代码通过 文件迭代,使用OpenAI API生成嵌入式,然后将它们插入数据库:
db.enable_load_extension(True) sqlite_vec.load(db) db.enable_load_extension(False) db.execute(''' CREATE VIRTUAL TABLE documents USING vec0( embedding float[1536], +file_name TEXT, +content TEXT ) ''')
- rag查询:
# ... (OpenAI embedding function) ... for file_name in os.listdir("data"): # ... (Open file, get content, get embedding) ... db.execute( 'INSERT INTO documents (embedding, file_name, content) VALUES (?, ?, ?)', (serialize_float32(embedding), file_name, content) ) db.commit()
>
结论
>大大简化了抹布。 它消除了对复杂框架和云服务的需求,使其具有成本效益且易于迭代。 虽然缩放可能最终需要一个更健壮的数据库,但sqlite-vec
>为较小的项目提供了引人注目的解决方案。 扩展名支持多种编程语言。sqlite-vec
以上是在Sqlite中检索增强发电的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

本文回顾了AI最高的艺术生成器,讨论了他们的功能,对创意项目的适用性和价值。它重点介绍了Midjourney是专业人士的最佳价值,并建议使用Dall-E 2进行高质量的可定制艺术。

Meta的Llama 3.2:多模式和移动AI的飞跃 Meta最近公布了Llama 3.2,这是AI的重大进步,具有强大的视觉功能和针对移动设备优化的轻量级文本模型。 以成功为基础

本文比较了诸如Chatgpt,Gemini和Claude之类的顶级AI聊天机器人,重点介绍了其独特功能,自定义选项以及自然语言处理和可靠性的性能。

Chatgpt 4当前可用并广泛使用,与诸如ChatGpt 3.5(例如ChatGpt 3.5)相比,在理解上下文和产生连贯的响应方面取得了重大改进。未来的发展可能包括更多个性化的间

文章讨论了Grammarly,Jasper,Copy.ai,Writesonic和Rytr等AI最高的写作助手,重点介绍了其独特的内容创建功能。它认为Jasper在SEO优化方面表现出色,而AI工具有助于保持音调的组成

2024年见证了从简单地使用LLM进行内容生成的转变,转变为了解其内部工作。 这种探索导致了AI代理的发现 - 自主系统处理任务和最少人工干预的决策。 Buildin

Shopify首席执行官TobiLütke最近的备忘录大胆地宣布AI对每位员工的基本期望是公司内部的重大文化转变。 这不是短暂的趋势。这是整合到P中的新操作范式

本文评论了Google Cloud,Amazon Polly,Microsoft Azure,IBM Watson和Discript等高级AI语音生成器,重点介绍其功能,语音质量和满足不同需求的适用性。
