DSH Plugins
返回列表
🧰

dsh-web-snapshot

联网工具 更新于 2026.10.23

在终端中运行以下命令:

dsh plugin install feely0208/dsh-web-snapshot

将以下提示词粘贴到 DeepSeek Harness 对话框中:

在 DeepSeek Harness 中执行 dsh plugin install feely0208/dsh-web-snapshot 即可安装该插件(源码:https://github.com/feely0208/dsh-web-snapshot)。

插件介绍

把网页交给模型或知识库时,复制粘贴会混进导航、页脚和广告;用 curl 抓下来又是一屏 HTML,还缺来源和抓取时间,过几周就说不清是哪一版。批量抓多个链接时,中间一条 404 往往整批停摆——这些琐事正是 dsh-web-snapshot 要收拢的。

插件把单个 URL 转成干净的 Markdown:标题、正文、来源链接与抓取时间、HTTP 状态码一并写入一个 .md 文件。提取时会去掉 script、style、导航、页脚等干扰,优先从 article、main 或常见正文容器取内容,并把相对链接与图片转成绝对地址。batch 按行读 URL 列表逐条抓取,单条失败不中断,最后汇总成败;sitemap 可展开 urlset 或 sitemapindex 并导出 URL 列表,方便批量任务。

默认只允许 http/https,单次请求超时 10 秒、响应上限 5MB,并带明确 User-Agent;需要接流水线时可用 --json,本地自测可用 --demo 在不联网的情况下跑通单页、批量与 sitemap 示例。

适合需要把公开网页沉淀成可读、可引用素材的开发者与运营:做 RAG、文档归档、竞品页整理或批量导出站点 URL 时,比手工清理 HTML 更省事。它不执行 JavaScript、不下载图片文件、也不替你做 robots 或合规判断——SPA、需登录或强反爬的页面需自行评估是否适用。

使用场景

  • 把公开网页转成带来源与时间的 Markdown,再导入知识库或 RAG
  • 按 URL 列表批量抓取,单条失败不影响其余链接
  • 从 sitemap 展开站点 URL,导出列表后做归档或批量快照

适合人员

  • 需要干净网页正文、不想手工删导航广告的开发者
  • 维护文档库或竞品页素材的内容与运营同学
  • 用流水线批量处理链接的自动化维护者