ArXivKB — 科学知识库

为何需要此技能？

🏠 100% 本地化 — 通过 arXiv 免费 API 抓取论文，使用 Ollama（nomic-embed-text）进行嵌入，索引存储于 FAISS + SQLite。无需任何云服务成本。

🔍 基于论文全文内容的语义搜索 — FAISS 索引的是 PDF 文本分块（而不仅是摘要），因此可依据论文实际内容查找相关文献。

📂 按 arXiv 分类体系组织 — 跟踪官方 arXiv 分类（共 155 类，归为 8 大组）。不支持自由文本查询。

🧹 自动清理机制 — 可配置过期策略，自动删除陈旧论文、PDF 文件及文本分块。

安装

python3 scripts/install.py

支持 macOS 和 Linux。自动安装 Python 依赖（faiss-cpu、pdfplumber、tiktoken、arxiv、numpy），通过 Ollama 拉取 nomic-embed-text 模型，并创建数据目录与数据库文件。

前提条件

• Ollama — 必须已安装并正在运行（执行 ollama serve）
• Python 3.10+

快速上手

# 1. 添加需跟踪的 arXiv 分类
akb categories add cs.AI cs.CV cs.LG

# 2. 浏览全部可用分类
akb categories browse

# 3. 抓取近期论文（过去 7 天）
akb ingest

# 4. 查看统计信息
akb stats

分类管理

akb categories list                    # 显示当前启用的分类
akb categories browse                  # 浏览全部 155 个 arXiv 分类
akb categories browse robotics         # 按关键词筛选分类
akb categories add cs.AI cs.RO         # 启用指定分类
akb categories delete cs.AI            # 停用指定分类

分类采用官方 arXiv 编码（例如 cs.AI、eess.IV、q-fin.ST）。完整分类体系已内置。

数据摄取（Ingestion）

akb ingest                    # 执行全流程：抓取 arXiv → 下载 PDF → 分块 → 嵌入
akb ingest --days 14          # 回溯 14 天内的论文
akb ingest --dry-run          # 仅预览将处理的论文，不执行实际操作
akb ingest --no-pdf           # 仅索引摘要（速度更快）

处理流程：arXiv API → PDF 下载 → 文本提取（pdfplumber）→ 分块（tiktoken，每块 500 tokens，重叠 50 tokens）→ 嵌入（Ollama nomic-embed-text）→ FAISS + SQLite。

论文详情

akb paper 2401.12345    # 显示标题、摘要、所属分类、PDF 下载状态等信息

统计信息

akb stats   # 论文总数、文本分块数、启用分类数、数据库大小

过期与清理

akb expire               # 删除早于 90 天（默认）的论文及相关数据
akb expire --days 30     # 自定义：删除早于 30 天的论文
akb expire --days 30 -y  # 跳过确认提示

配置说明

无需配置文件。默认参数如下：

数据目录结构

~/workspace/arxivkb/
├── arxivkb.db           # SQLite 数据库：存储论文、分块、翻译、分类等信息
├── pdfs/                  # 下载的 PDF 文件（命名格式：{arxiv_id}.pdf）
└── faiss/
    └── arxivkb.faiss    # FAISS IndexFlatIP 索引文件（存储分块嵌入向量）

数据库 Schema

• papers：id、arxiv_id、title、abstract、categories、published、status、created_at
• chunks：id、paper_id、section、chunk_index、text、faiss_id、created_at
• translations：paper_id、language、abstract、created_at（主键：paper_id + language）
• categories：code、description、group_name、enabled、added_at（共 155 条记录）

💬 聊天命令（OpenClaw Agent）

当该技能安装后，Agent 将识别 /akb 为快捷指令：

Agent 内部通过调用 akb CLI 执行上述命令。

📱 PrivateApp 仪表板

配套提供一款 PWA 形式的仪表板应用，功能包括：

• 跨论文全文内容的语义搜索
• 论文详情页支持按需调用 LLM 进行摘要翻译
• 内联 PDF 阅读器
• 分类浏览器
• 统计信息展示（论文数、分块数、分类数）

架构概览

scripts/
├── cli.py             # CLI 主程序：支持 categories / ingest / paper / stats / expire 等子命令
├── db.py              # SQLite 数据库 Schema 定义与 CRUD 操作封装
├── arxiv_crawler.py   # arXiv API 检索与 PDF 下载逻辑
├── arxiv_taxonomy.py  # 完整 arXiv 分类体系（155 个分类）
├── pdf_processor.py   # PDF 文本提取 + tiktoken 分块逻辑
├── embed.py           # 调用 Ollama nomic-embed-text（768 维，已归一化）
├── faiss_index.py     # FAISS IndexFlatIP 索引管理器
├── search.py          # 语义搜索实现：query → FAISS 检索 → 按论文聚合结果
└── install.py         # 一键安装脚本