dsh-llm-mlx
在终端中运行以下命令:
dsh plugin install robbywang25/dsh-llm-mlx
将以下提示词粘贴到 DeepSeek Harness 对话框中:
在 DeepSeek Harness 中运行 dsh plugin install robbywang25/dsh-llm-mlx 即可安装该插件,完整源码地址为 https://github.com/robbywang25/dsh-llm-mlx
插件介绍
在 Apple 芯片 Mac 上跑本地 LLM 或 VLM 推理,往往意味着手动启动 mlx_lm.server 或 mlx_vlm.server、盯住端口参数、再想办法接入上层框架。dsh-llm-mlx 补上了这道缝隙:它通过 DeepSeek Harness 内置的 OpenAI 兼容适配器贡献一条 local-mlx 模型路由,让你磁盘上已有的 MLX 权重直接出现在 DSH 模型列表中,无需额外中间件。
插件提供两种运行模式——复用你自行管理的 MLX 服务(DSH 不持有其进程),或由 DSH 在自身生命周期内自动拉起并托管 MLX 服务,退出时仅清理自己启动的子进程。对于经 CC Switch 路由 Claude Desktop 时因重复 reasoning 字段导致 SSE 反序列化失败的场景,插件还内置了一个仅绑定回环地址的兼容代理,只剥离废弃别名、其余字段原样透传。此外,该包顺带修复了 DSH Desktop 2.0.3 上 macOS 子进程提供者的路径重写缺陷,Linux 与 Windows 提供者在本次变更中保持不变。
它面向在 Apple 芯片 Mac 上追求离线本地权重推理的开发者、关注数据隐私的用户,以及需要从 Claude Desktop 调用本地模型的团队。插件不下载任何权重、不上传提示词或遥测数据、通过参数数组而非 shell 调用 Python,所有服务端口均仅绑定 127.0.0.1。
使用场景
- 在 Apple 芯片 Mac 上离线调用本地 LLM 或 VLM 进行推理
- 从 Claude Desktop 经 CC Switch 调用本地 MLX 模型并兼容 SSE 流式
- 由 DSH 托管 MLX 服务生命周期,免去手动启停与端口管理
适合人员
- 在 Apple 芯片 Mac 上运行本地推理的开发者
- 关注数据隐私、拒绝向远程 API 发送提示词的用户
- 基于 DeepSeek Harness 搭建本地工作流的团队