必须接入Jina Reader API才能实现Dify知识库自动抓取结构化网页内容，需在jina.ai获取并妥善保存唯一API密钥，再通过Dify自定义工具配置OpenAPI规范，最后在知识库数据源中选择Jina Reader并确保URL含完整协议。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Dify中让知识库自动抓取并结构化网页内容，必须正确接入Jina Reader作为网络爬虫服务，否则上传链接后无法解析正文、残留广告或直接返回空内容。
获取Jina Reader API密钥
访问 jina.ai Dashboard，登录后进入“API Keys”页面→点击“Create new key”→复制生成的密钥字符串。
【务必立即保存】该密钥仅显示一次，关闭页面即永久丢失；若后续工作流调用失败且报401错误，大概率是这一步遗漏导致。
在Dify中创建Jina Reader自定义工具
进入Dify控制台→左侧菜单栏点击“工具”→“自定义工具”→“创建自定义工具”。
粘贴以下OpenAPI 3.0规范（已适配Jina Reader v1.2最新行为，含URL编码兼容）：
"openapi":"3.0.0","info":{"title":"Jina Reader","description":"将网页URL转换为干净Markdown文本。支持动态渲染页、含图页面及长文截断。","version":"1.2"},"servers":[{"url":"https://r.jina.ai"}],"paths":{"/{url}":{"get":{"operationId":"scrape_web_page","summary":"抓取并结构化网页内容","parameters":[{"name":"url","in":"path","description":"原始网页URL,必须为完整协议地址(如 https://example.com/article),会自动做URI编码","required":true,"schema":{"type":"string"}}],"responses":{"200":{"description":"成功返回Markdown文本","content":{"text/markdown":{"schema":{"type":"string"}}}},"400":{"description":"URL格式错误或未提供"},"408":{"description":"网页加载超时(通常因目标站JS阻塞或反爬)"},"500":{"description":"Jina服务端内部错误"}}}}}}
填写工具名称为“Jina Reader”，描述可留空，点击“创建”。创建成功后，该工具将出现在“工具库”中，供任意工作流调用。
配置知识库数据源为Jina Reader爬虫
方法一：新建知识库时直接启用
进入“知识库”→“新建知识库”→选择“网站爬取”类型→在“数据源提供商”下拉菜单中选择“Jina Reader”→填写起始URL（如 https://blog.tencent.com ）→开启“递归爬取”（可选）→点击“确认导入”。
方法二：已有知识库追加爬虫数据源
打开目标知识库→点击右上角“设置”→切换到“数据源”标签页→点击“添加数据源”→选择“网站爬取”→提供商选“Jina Reader”→输入单个URL或Sitemap地址→保存后触发同步。
注意：若填写的URL不含协议（如写成 www.example.com），Jina Reader将拒绝请求并返回400错误；必须以 https:// 或 http:// 开头。
验证与调试爬取结果
第一步：在知识库“文档列表”中查看状态为“正在处理”或“已完成”的条目。
第二步：点击任一文档右侧的“预览”图标，确认内容是否为纯Markdown格式、无导航栏/广告/侧边栏等干扰元素。
第三步：若发现某页面返回空白或结构混乱，回到工作流或数据源配置页，检查该URL是否被目标站点反爬拦截——此时可尝试在URL前手动加一层代理跳转，或改用Firecrawl替代。
第四步：对关键页面，复制其对应Jina Reader直链（如 https://r.jina.ai/https://example.com/article）在浏览器中打开，观察原始响应是否符合预期。
