shinjiyu/dsh-plugin-multimodal

Vision sidecar for DeepSeek Harness: accept pasted images on text-only models.

Bundle verified MIT TypeScript v0.1.0
Bundle verified

Listed

3

Vision

Bundle verified

★ 3 View on GitHub
Versionv0.1.0
LanguageTypeScript
LicenseMIT
View on GitHub

Preview

Preview 1 of 2: shinjiyu/dsh-plugin-multimodal
Preview 2 of 2: shinjiyu/dsh-plugin-multimodal

What it does

Advertise image paste on text-only DeepSeek routes, describe attachments with a vision sidecar, and leave native vision models untouched.

Best for

  • Users pasting screenshots or images while keeping a text-only DeepSeek route as the main model.
  • Workflows that need a vision sidecar to convert image attachments into text for a non-vision model.

Not ideal for

  • Native vision routes that already accept images, because the plugin intentionally leaves them unchanged.
  • Setups without credentials and a genuinely vision-capable sidecar model; a text-only sidecar cannot describe images.

README

dsh-plugin-multimodal

Awesome DSH Plugin

DeepSeek Harness 官方线路是纯文本。Web 里贴图会被拒：当前模型不支持图片。

这个插件补的是贴图准入，不是视觉工具箱。

  1. 主模型本身收图（Claude / GPT / 自建视觉网关）→ 原样把图交给模型，不转文字
  2. 主模型是纯文本（官方 DeepSeek）→ GUI 先收下图，sidecar 转成文字再发给主模型
  3. see_image 给磁盘上的截图用

官方 PI adapter 已经会做第 1 步，不会做第 2 步：不支持就 UNSUPPORTED_CONTENT。Anionex 的 dsh-vision-toolkit 是另一条路：给 agent 一堆 vision_* 工具，要模型自己去调。本插件让粘贴不被拒。

对应需求：Discussions #588 · 介绍帖：Show and tell #1709

安装

dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodal

本地路径：

dsh plugin --profile web add D:\tempWorkspace\dsh-plugin-multimodal

然后重启 dsh web。旧会话的工具表不会更新。

GitHub topic：dsh-plugin

配置

环境变量（不要把 key 写进仓库）：

变量 作用
DSH_VISION_BASE_URL 视觉接口，例如 https://api.example/v1
DSH_VISION_API_KEY 该接口的 key
DSH_VISION_MODEL 必须是真能看图的模型，例如 glm-4.5v
DSH_VISION_PROMPT 可选。默认 OCR + 描述界面

没设 DSH_VISION_* 时回退 OPENAI_BASE_URL / OPENAI_API_KEY。GLM-5.2-FP8 这类文本模型不能当 sidecar。

也可以在 profile 的 cordis.patch.yml 里写：

- id: dsh-plugin-multimodal
  name: dsh-plugin-multimodal
  inject: [llm, tools, attachments, systemPrompt]
  config:
    model: glm-4.5v
    apiKeyEnv: DSH_VISION_API_KEY

30 秒验收

  1. 主模型仍用官方纯文本（或 PocketCity 文本模型）
  2. 配好一个真能看图的 sidecar
  3. 在 Web 里粘贴一张报错截图，问「红字说了什么」
  4. 过关：不再弹「当前模型不支持图片」，主模型能引用图上的字

磁盘文件：让它调 see_image。

不要做

  • 不要改 runtime/ 或官方 DeepSeek adapter
  • 不要把 sidecar 指到 deepseek-v4-flash / 其它纯文本模型
  • 不要把它宣传成「视觉工具箱」——那是 toolkit 的词

社区

微信群：deepseek harness 讨论群（2群）

扫码进群，用来分享和讨论插件。不是官方群。

微信群二维码

微信群码大约 7 天过期（本张到 2026-08-23）。过期后把新码覆盖 docs/community/wechat-group-2.jpg 即可。

宣发稿（Discussions / V2EX / 群公告）在 docs/PROMO.md。

License

MIT

Frequently Asked QuestionsFAQ

Use the verified command dsh plugin --profile default add github:shinjiyu/dsh-plugin-multimodal in a DSH-enabled shell. The command resolves the public package metadata and keeps the plugin attached to the catalog identity shown on this page.

tt-a1i/archify#integrations/deepseek-harness★ 14,012

Generate validated, self-contained interactive architecture, workflow, sequence, data-flow, and lifecycle diagrams from repositories or system descriptions.

MIT
liustack/modlens★ 2,925

Vision bridge for text-only models: paste an image, get structured JSON evidence (OCR, layout, semantics).

MIT
GanyuanRan/Aegis★ 1,048

Software-engineering method pack for coding agents, with skills for baseline-first planning, systematic debugging, prompt hygiene, verification before completion, and repair/retirement tracking.

MIT
ysr666/dsh-vision-router★ 680

Free vision for text-only agents: built-in keyless vision chain plus pixel tools (Q&A, grounding, crop, pixel diff, colors, OCR, SVG trace, cutout, screenshots); paste an image to use it.

MIT