dsh-media-caption
在终端中运行以下命令:
dsh plugin install CleranceWang/dsh-media-caption
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install CleranceWang/dsh-media-caption,或从源码仓库 https://github.com/CleranceWang/dsh-media-caption 安装后重启 DSH。
插件介绍
视频和音频在 Harness 里常被当成「黑盒」:口播要读字、产品图要看画面、讲解配演示还要两边对照,但一条流水线很难同时满足三种读法。dsh-media-caption 的定位很克制——只把原料交出来,把「这段该读字幕还是看图、哪句重要」留给调用方。
给它一段视频或音频,你会得到两样东西:带毫秒时间戳的 字幕.json(逐句转写,并标明是否有人声、何种语言),以及关键帧 JPG 与九宫格预览 sheet。抽帧采用等间隔骨架并吸附画面变化点,单次 ffmpeg 解码出全量帧;转写依赖本机 faster-whisper,插件本身不调大模型、不生成 Markdown。
若盘上已有 字幕.json,标准处理路径会直接返回、不重算;也支持对单个文件直给路径,或可选地在 DSH 启动时扫一轮输入目录做批处理(默认关闭,不常驻后台)。资源不足时不会硬抢显存或内存。
适合需要把媒体当结构化素材接入下游流程的开发者:做笔记管线、检索、摘要或审核时,先拿 JSON 与帧图,再自行决定怎么用 speech 字段区分「读字幕」「看图」或两者互补。
使用场景
- 口播教程需要先拿到带时间戳的字幕,再交给下游摘要或检索
- 画面为主的短视频要靠九宫格关键帧理解内容,字幕可能为空
- 笔记目录里批量丢视频,启动时扫一轮生成素材供后续流程读取
适合人员
- 在 DSH 里把音视频当结构化素材接入的插件开发者
- 需要区分「读字幕 / 看图 / 两者互补」的笔记或知识库构建者
- 希望本地 Whisper 转写、不依赖大模型做内容判断的用户