dsh-listen
在终端中运行以下命令:
dsh plugin install vlln/dsh-listen
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install vlln/dsh-listen 安装插件(源码:https://github.com/vlln/dsh-listen),装完后重启 dsh web 并在 Plugins 页填写包名 dsh-listen。
插件介绍
大语言模型 Agent 能读文件、写代码,却难把一段真实音频当成可用的上下文。dsh-listen 把「听」拆成可组合的基准操作:传入本地路径或会话附件,由 Agent 自行选择需要的听感证据,而不是指望模型凭空「听见」整段声音。
核心是单一 listen 工具(也可在配置里拆成转写、事件、时域信号与 DSP 四类子工具)。你可以按需拉取转写、声音事件标签、时频图,以及响度、能量、频谱峰、频段能量、色度、音高、节拍与 onset 等结构化结果;每块证据都标明方法、单位与生效参数,失败时给出原因,便于 Agent 决定是否换区间或补特征。可选能力包括本地或 API 转写、本地事件分类;频谱图会以图片附件形式随结果返回。
它面向在 DeepSeek Harness 里做音频理解任务的开发者与 Agent 设计者:评测脚本、会议纪要辅助、音乐/环境声分析等,只要 workflow 需要的是「把声音变成可推理的证据」。插件在本地用 ffmpeg 解码,默认不外发音频;不替代专用 ASR 流水线,也不做播放、编辑或音频生成。单次分析区间有长度上限,适合片段级听感分析而非整部长音频一次性灌入。
截图预览
使用场景
- 会议纪要片段里按需拉转写与响度,补全讨论上下文
- 环境声或音乐片段提取节拍、色度与频谱证据做分类或检索
- 在 MMAU 等音频理解评测里用工具链组合特征而非端到端音频模型
适合人员
- 在 DSH 里编排多步 workflow 的 Agent 开发者
- 需要把音频变成结构化证据的产品与研究员
- 做音频理解评测或原型验证的工程团队