🧰

better-crawler4agent

联网工具更新于 2026.09.30

在终端中运行以下命令：

dsh plugin install TC635807/better-crawler4agent

将以下提示词粘贴到 DeepSeek Harness 对话框中：

在 DeepSeek Harness 中执行 dsh plugin install TC635807/better-crawler4agent，即可从 https://github.com/TC635807/better-crawler4agent 安装本插件。

插件介绍

多数 Agent 自带的网页抓取仍是 HTTP 客户端加正文提取：静态页够用，但 JS 渲染会只剩空壳，知乎、CSDN 等站点还会 403/521，有时页面有字却抽成零散片段。better-crawler4agent 是一个不绑定特定客户端的标准 stdio MCP 服务，专注把「已知 URL」变成干净正文，URL 发现留给调用方，因此不必接搜索 API。

核心路径是用真实 Chromium 渲染，并补齐一致的浏览器指纹与导航器覆盖；抓取采用分层降级（浏览器 → trafilatura → httpx），并识别字体蜜罐、假成功（200 却是错误页）、骨架页与概率性接口失败，必要时自动重试并取最完整结果。每次响应还带 status、tier、warning、attempts 等诊断，失败原因更可操作，并内置 SSRF 防护。

适合在 Cursor、Claude Code、Windsurf、Cline、Codex、ZCode 或 DeepSeek Harness 里需要按需读单篇技术文章、文档或社区帖的开发者与 Agent 工作流；也适合在知乎专栏、CSDN、掘金、博客园等「纯 HTTP 抓不回来」的场景下做可靠阅读。请遵守目标站点 robots 与服务条款，勿用于高频批量抓取。