将B站视频转换为可搜索的文本知识库。支持单个视频及批量处理UP主频道。使用本地 whisper.cp...
Bilibili Up 到 KB. 将 B / 整个频道的视频( 单个或整个频道) 转换为清理的、结构化的文本知识库.
功能概述
Bilibili Up 到 KB. 将 B / 整个频道的视频( 单个或整个频道) 转换为清理的、结构化的文本知识库.是一项面向实际任务的技能,主要用于Design 原则.;Agent boards, 脚本执行;
核心要点
- 代理的任务就是决定。
- 它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
- 使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。
使用与执行
该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;
结果检查与注意事项
若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
Bilibili UP 主转知识库(KB)
将 B 站视频(单个或整频道)转换为清洗后、结构化的文本知识库。
设计原则
Agent 负责编排,脚本负责执行。 Agent 的职责是决定 做什么 并触发正确的脚本。所有机械性、重复性工作(下载、转录、清洗)均由具备内置并行能力的 Shell 脚本完成。Agent 绝不会逐个遍历视频 —— 它仅运行 一条命令,由脚本在内部处理并发逻辑。
输出结构
kb/UP主名_UID/
├── BV号_视频标题.txt # 清洗后的转录文本(面向用户)
├── BV号_视频标题.meta.json # 视频元数据
├── index.md # 汇总索引页
└── .raw/ # 隐藏目录:whisper 原始转录文本(如有)
└── BV号_视频标题.txt
关键设计决策:
- 文件名中包含标题以提升可读性(
BV1xxx_标题.txt) - 文件夹名包含 UP 主名称(
UP主名_UID/) - 原始 whisper 转录文本存放于
.raw/目录下并默认隐藏 - 不使用
_clean后缀 —— 清洗后的文件即为主力文件 - 每条视频对应一个
.meta.json,含标题、上传者、时长等元信息
完整流程
步骤 1:下载 AI 字幕(速度快,支持高并发)
# 并发 30–50 是安全的 —— B站 CDN 可承受 scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output zh 0 30
步骤 2:对无 AI 字幕的视频运行 whisper(并发必须低!)
# Metal GPU 最多仅能稳定运行 1–4 个 whisper 实例 # 并发数更高反而导致整体变慢(GPU 饱和) scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output zh 0 2 --whisper-only
步骤 3:清洗 + 生成索引
# 清洗 whisper 转录文本(AI 字幕自动跳过) scripts/batch_clean.sh ./kb/UP主名_UID/ scripts/generate_index.sh ./kb/UP主名_UID/
并发指南
关键:不同阶段需采用不同并发策略!
| 阶段 | 瓶颈 | 推荐并发数 | 原因 |
|---|---|---|---|
| AI 字幕下载 | 网络 | 30–50 | B站 CDN 支持高并发访问 |
| Whisper 转录 | Metal GPU | 1–4 | GPU 饱和,过多并发反而降低总吞吐 |
| 转录文本清洗 | API 调用频率限制 | 全部串行(0 并发) | 纯网络 I/O,无本地计算负载 |
快速开始 — 单视频处理
scripts/transcribe.sh "https://www.bilibili.com/video/BV..." ./output zh
转录文本清洗
AI 字幕质量足够高 —— 默认跳过清洗。
| 来源 | 是否需要清洗? |
|---|---|
| B站 AI 字幕 | 否 —— 可直接使用 |
| whisper 回退转录 | 是 —— 必须经过清洗流程 |
清洗使用模型:opencode/minimax-m2.5-free:
- 修正同音错字与乱码词
- 补充标点符号
- 输出必须为简体中文
- 对存疑的专有名词保持原样,不做修改
- 绝不将一个真实术语替换为另一个
分块大小:80 行。重试机制:最多尝试 3 次,每次间隔 3 秒。
⚠️ 长耗时任务
使用 nohup 避免终端会话中断导致进程被终止:
nohup bash scripts/batch_clean.sh ./kb/UP主名_UID/ 0 80 > /tmp/clean.log 2>&1 &
batch_clean.sh 支持断点续传 —— 中断后可安全重新运行。
⚠️ 大型频道处理(1000+ 视频)
脚本自动识别大型频道(视频数 > 800),按分块拉取以规避超时。
# 自动分块,中断后只需重新运行即可续传 nohup bash scripts/batch_channel.sh "https://space.bilibili.com/UID/" ./kb/output > /tmp/batch.log 2>&1 &
若仍失败,可手动获取 URL 列表:
for i in $(seq 1 500 2000); do
yt-dlp --flat-playlist --playlist-start $i --playlist-end $((i+499))
--print url "https://space.bilibili.com/UID/" >> /tmp/urls.txt
done
cat /tmp/urls.txt | xargs -P 20 -I {} bash scripts/transcribe.sh {} ./kb/OUTPUT zh
⚠️ 散热与风扇告警
务必保障系统散热 —— 避免风扇启动!
| 阶段 | 风险等级 | 缓解措施 |
|---|---|---|
| Whisper(GPU) | 高 | 并发数 ≤ 2,持续监控温度 |
| AI 字幕下载 | 低 | 可安全运行 30–50 并发 |
| 清洗(API) | 无 | 纯网络 I/O,无本地计算负载 |
一旦风扇启动:
- 立即停止所有 whisper 进程
- 等待系统充分降温
- 以更低并发(1–2)恢复运行
# 查看 GPU 温度(CUDA 用户) nvidia-smi # 查看 Mac CPU/GPU 温度 sudo powermetrics --sample-rate 1000 -i 1 -n 1 | grep -E "CPU|GPU"
依赖项
必需依赖:yt-dlp、ffmpeg、whisper.cpp(含模型)、opencode CLI
可选依赖:浏览器 Cookies(用于访问会员专属内容,参数:--cookies-from-browser chrome)
环境变量
| 变量名 | 默认值 | 说明 |
|---|---|---|
WHISPER_CLI |
whisper-cli |
whisper.cpp 可执行文件路径 |
WHISPER_MODEL |
~/.whisper-cpp/ggml-small.bin |
whisper 模型路径 |
OPENCODE_BIN |
~/.opencode/bin/opencode |
opencode CLI 路径 |
CLEAN_MODEL |
opencode/minimax-m2.5-free |
清洗所用模型 |
使用提示
- 中国大陆用户:建议通过
hf-mirror.com下载 whisper 模型 - 长视频(1 小时以上):自动切分为 10 分钟片段进行处理
- 支持断点续传:所有批量脚本均跳过已处理完成的文件
热门AI工具
相关专题
本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。
0
2026.11.17
本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.17
本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。
0
2026.11.17
SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。
0
2026.11.17
SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。
0
2026.11.17
SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。
0
2026.11.17
本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。
0
2026.11.12
本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.12
本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。
0
2026.11.12
热门下载
相关下载
精品课程
共0课时 | 0人学习
共206课时 | 40.8万人学习
共14课时 | 2.8万人学习