dsh-web-snapshot
在终端中运行以下命令:
dsh plugin install feely0208/dsh-web-snapshot
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install feely0208/dsh-web-snapshot 即可安装该插件(源码:https://github.com/feely0208/dsh-web-snapshot)。
插件介绍
把网页交给模型或知识库时,复制粘贴会混进导航、页脚和广告;用 curl 抓下来又是一屏 HTML,还缺来源和抓取时间,过几周就说不清是哪一版。批量抓多个链接时,中间一条 404 往往整批停摆——这些琐事正是 dsh-web-snapshot 要收拢的。
插件把单个 URL 转成干净的 Markdown:标题、正文、来源链接与抓取时间、HTTP 状态码一并写入一个 .md 文件。提取时会去掉 script、style、导航、页脚等干扰,优先从 article、main 或常见正文容器取内容,并把相对链接与图片转成绝对地址。batch 按行读 URL 列表逐条抓取,单条失败不中断,最后汇总成败;sitemap 可展开 urlset 或 sitemapindex 并导出 URL 列表,方便批量任务。
默认只允许 http/https,单次请求超时 10 秒、响应上限 5MB,并带明确 User-Agent;需要接流水线时可用 --json,本地自测可用 --demo 在不联网的情况下跑通单页、批量与 sitemap 示例。
适合需要把公开网页沉淀成可读、可引用素材的开发者与运营:做 RAG、文档归档、竞品页整理或批量导出站点 URL 时,比手工清理 HTML 更省事。它不执行 JavaScript、不下载图片文件、也不替你做 robots 或合规判断——SPA、需登录或强反爬的页面需自行评估是否适用。
使用场景
- 把公开网页转成带来源与时间的 Markdown,再导入知识库或 RAG
- 按 URL 列表批量抓取,单条失败不影响其余链接
- 从 sitemap 展开站点 URL,导出列表后做归档或批量快照
适合人员
- 需要干净网页正文、不想手工删导航广告的开发者
- 维护文档库或竞品页素材的内容与运营同学
- 用流水线批量处理链接的自动化维护者