web-forager
在终端中运行以下命令:
dsh plugin install JiamingShi-JsPhys/web-forager
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中执行 dsh plugin install JiamingShi-JsPhys/web-forager,即可从开源仓库 https://github.com/JiamingShi-JsPhys/web-forager 安装本插件。
插件介绍
在智能体生态里,常见分工是「搜索只给链接、爬虫只读页面」,却很少有工具同时把检索、阅读与合规约束绑成稳定契约。web-forager 用一套自研引擎把两件事合一:每次请求默认尊重 robots.txt、按站点限速,并带上可联系的信息采集 User-Agent,让你在合法、礼貌的前提下做公开信息采集。
HTTP 模式覆盖搜索引擎与站点地图发现,能解析 HTML、PDF、Office、电子书、RSS 等,并统一输出元数据、Markdown、表格与告警;还可按链接逐级 surf、分块长文,以及通过 arXiv、Crossref、PubMed 等接口做学术检索。浏览器模式通过可插拔桥接驱动真实浏览器,用只读 playbook 采集需渲染或登录态才能看到的公开内容(如 B 站 feed/弹幕、知乎与小红书探索流),且明确不绕过登录、验证码或付费墙。
同一套能力可通过 CLI、十个 HTTP 类 MCP 工具与浏览器侧 MCP 暴露给智能体;缺失依赖或站点无数据时会降级返回而非硬崩。适合需要监测话题、汇总文章与讨论、搭建个人知识库的分析者与 agent 开发者;使用前须遵守目标站服务条款与版权,并不得用于侵犯个人隐私的用途。
使用场景
- 按关键词搜索并统一读取 HTML、PDF 与 RSS 等公开页面内容。
- 从种子链接或站点地图逐级浏览,可恢复会话地跟踪站内公开链接。
- 用浏览器只读 playbook 监测 B 站、知乎或小红书的公开话题与讨论。
适合人员
- 需要把联网检索与阅读管线接入智能体的开发者。
- 做公开资讯监测、话题跟踪与资料归档的分析者。
- 在个人知识库中汇总文章、讨论与学术文献引用的研究者。