生成图里的文字总是靠不住
做过海报、幻灯片、甚至漫画分镜的同学都知道:主流文生图模型一生成中文长句,要么漏字、要么乱码、要么字形崩坏,最后还得进 PS 一个个改,费时又费力。
市面上号称「支持中文」的开源模型,跑起来往往只能应付短词,稍微加长 prompt 就崩。想要一次性把几百字的说明文、带标点、带换行的排版直接生成在图里,几乎是个伪命题。

冻结大语言模型 + JSON 布局
MOSS-Image 的做法很硬核:直接把 Qwen3.5-9B 的文本编码器冻结,不做任何微调,保留它对中英文长文本的深度理解;再引入结构化 JSON 布局输入,每个文本块带上 bounding boxes,告诉模型「这段字放在这里、宽高多少、字号多大」。
架构上是一个 5B 参数的 single‑stream diffusion transformer(DiT),只在扩散层做训练,文本侧零成本复用大模型语义能力。推理时最长支持 4096 tokens 的 prompt,配合 JSON 布局就能把复杂排版一次性编码进潜空间,不再靠「碰运气」生成文字。
关键代码片段
官方给出的最小调用示例:
DiffusionPipeline.from_pretrained('OpenMOSS-Team/MOSS-Image-Base', custom_pipeline='pipeline_moss_image', trust_remote_code=True)
默认 50 步、CFG 3 即可跑通,无需额外微调。
LongLongTextBench 96.3% 覆盖率、RealLayoutArena Elo 1698
在 技术报告 公布的 LongLongTextBench(LLTB)基准上,MOSS-Image 达到平均文本覆盖率 96.3%,在所有开源模型里排第一;RealLayoutArena(RLA)盲测 Elo 1698.70,端到端得分仅次于闭源的 GPT Image 2,超越了同量级的 Stable Diffusion 3.5、Flux 等主流开源权重。
实际体感:把一段 300 字的中文产品介绍配上 JSON 布局扔进去,生成图里的每个汉字、标点、换行都在预设框内完美落笔,连生僻字都没跑偏。英文长文本同理,连代码片段、公式符号都能原样渲染。
ComfyUI 原生、蒸馏版、GGUF/INT8/MLX 一键跑
生态侧动作也很快:GitHub 仓库 Apache‑2.0 协议,权重无门槛下载;Hugging Face 在线 Demo 无需显卡即可体验;ComfyUI 0.42.0 起原生集成,工作流里拖个节点就能用;8 步蒸馏版在 Hugging Face 已拿 7.5 万下载;GGUF、INT8、MLX 量化包齐全,Mac M 系列、Linux CPU、甚至树莓派都能跑通。
根据 SiliconNoon 雷达 统计,首 4 天镜像下载破 130 万,站内文生图 Trending 榜首,说明开发者对「把文字一次生成对」的需求有多旺盛。
出品方由 MOSI Intelligence、SII、复旦、上海交大联合攻关,技术报告、代码、权重全公开,真正做到「白嫖即用、改造随心」。
本文来源:摸鱼杂货店。查看原文:MOSS-Image 开源 5B 文生图模型:文字渲染 96.3% 领跑开源。