Paper Notes

GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents

作者GLM-5V-Turbo Team
机构Z.ai, Tsinghua University
发表arXiv · 2026
参考论文: arxiv.orgGitHubPDF

35分钟阅读

GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents

Paper: arXiv:2604.26752v3 Code: zai-org/GLM-V; related public skills/data: GLM-skills, ImageMining Code reference: main @ b0467612 (2026-05-16); GLM-skills main @ 2ecd31c3 (2026-04-15); ImageMining main @ 39cab09c (2026-05-16)

1. Motivation (研究动机)

1.1 现有 multimodal agent 的瓶颈

论文把问题定义在“原生多模态 agent foundation model”上，而不是单纯的 VLM benchmark 提升。 真实 agent 需要处理图片、视频、网页、文档、GUI、终端输出和本地文件系统等异质上下文。 如果视觉能力只是语言模型外部的辅助接口，模型在规划、工具调用、执行和自我校验时会持续丢失视觉细节。 典型失败不是只发生在高层 reasoning：很多高层错误首先来自“没有看清楚”。 GUI agent 中，一个按钮位置、表格区域、截图裁剪、页面层级或视频中的时间变化都可能决定后续动作是否可执行。 论文因此强调 perception 不是可以早期解决后就冻结的低层模块，而是持续决定 agent 能力上限的基础。

1.2 本文要解决的具体问题

目标是让多模态感知直接参与 reasoning、planning、tool use 和 execution。 模型需要在 text-first coding workflow 中保持代码与推理能力，同时获得视觉环境中的行动能力。 训练不能只优化单一任务族；论文希望 perception、reasoning、planning、execution 在预训练、SFT 和 RL 中一起发展。 工程系统也必须适配大规模多任务 VLM RL：prompt/response 长度不同，图像/视频 token 数不同，verifier 可能是规则或模型。 因此本文同时讨论模型结构、训练数据、RL 基础设施、外部 agent 框架和官方 skill 生态。

1.3 为什么这个问题值得做

对软件工程，模型不只是写函数，还要看截图、理解 UI、复刻网页、调试交互状态。 对深度搜索，模型要从图像和网页视觉结构里发现线索，而不是只读文本搜索结果。 对文档生产，模型要保留视觉证据与文字结论的对应关系，例如图表、页面布局和多页材料。 对长程 GUI agent，模型要跨多步维持屏幕状态、动作后果和验证信号。 这些任务都要求“看见—推理—行动—验证”是同一个闭环，而不是外接 OCR/图像描述后的文本推理。

1.4 论文的定位

GLM-5V-Turbo 是一篇 technical report，主线是“toward native foundation models for multimodal agents”。 它不是只提出一个单点算法，而是把 CogViT、MMTP、多模态预训练、30+ 类任务 RL、agent toolchain、skills 和评测放在同一系统里。 论文贡献更接近系统性配方：哪些视觉/语言结构要改，哪些训练阶段要覆盖，哪些基础设施瓶颈会出现，哪些评测能体现 agent 能力。

2. Idea (核心思想)

2.1 核心 insight

GLM-5V-Turbo 的核心思想是：多模态感知必须成为 agent 推理与执行链路的原生组成部分，而不是语言模型旁边的附属输入通道。为此，模型端用 CogViT 强化细粒度视觉表示，用 Multimodal Multi-Token Prediction 让多模态输入兼容高效 MTP 训练；训练端从预训练到 RL 覆盖 perception、coding、GUI、tool-use 与 reasoning；系统端通过 VLM RL Gym、异步 reward、官方 skills 和外部 agent 框架把能力落到可执行任务。

2.2 与常见路线的差异

与“先 OCR/Caption，再把文本喂给 LLM”的 pipeline 不同，本文强调视觉 token 与文本 token 在模型和训练目标中共同参与。 与只做 benchmark VLM 的路线不同，本文把 Claude Code、AutoClaw、OpenClaw、GUI exploration、web replication、ImageMining 都作为 agentic deployment 的一部分。 与单任务 RL 不同，本文采用 30+ task categories 的 joint RL optimization，理由是 agent 能力需要跨任务的策略共享。 与只追求长程任务不同，本文提出 hierarchical optimization：元素感知、GUI grounding、单步动作预测、trajectory-level 动作预测都要参与优化。

2.3 关键创新拆解

CogViT：403M 参数视觉编码器，面向 general recognition、fine-grained understanding、geometry/spatial perception。Two-stage vision pretraining：第一阶段蒸馏式 masked image modeling；第二阶段 contrastive image-text pretraining。MMTP：把 text-only MTP 扩展到 multimodal 输入，并采用 <|image|> placeholder 方案减少 pipeline-parallel 通信复杂度。

Broad multimodal training：预训练数据覆盖 world knowledge、interleaved image-text、OCR、coding、GUI、video、tool-use、spatial perception、grounding、academic problem-solving。Multimodal RL at scale：统一任务/奖励抽象，rollout、reward、batch construction、weight transfer 解耦，单独处理 ViT/projector 内存。

Agent ecosystem：扩展 proprietary multimodal tools，兼容自定义 tools，并公开 GLM-skills 与 ImageMining。

2.4 对“native”的理解

Native 不是指模型永远不调用工具，而是指视觉上下文不会在进入 agent 循环前被降维成一次性的文字摘要。 Native 也不是单纯增加图像输入长度，而是让视觉表示、推理 token、工具状态和验证信号能在训练和执行中相互约束。 论文把 native multimodal agent 视为 model + harness 的共同体：模型能力和外部工具/框架会一起决定系统边界。

2.5 读者应抓住的主线

第一条线是视觉表示：CogViT 让模型更可靠地看见细节、空间和局部结构。 第二条线是训练效率：MMTP 的 <|image|> placeholder 让 multimodal MTP 兼容大规模基础设施。 第三条线是行为能力：多任务 RL 和 agent toolchain 把 perception 转化为行动与验证。 第四条线是工程边界：长程多模态上下文、verifier、harness 和 memory 都会成为能力瓶颈。

3. Method (方法)

3.1 Overall framework

GLM-5V-Turbo 的方法不是单模块 pipeline，而是四层协同。 Model layer：CogViT vision encoder、MLP adapter、LLM backbone、MMTP heads。 Training layer：视觉预训练、多模态预训练、SFT、30+ 类任务 joint RL。 Infrastructure layer：VLM RL Gym、统一 reward system、异步 rollout/reward、old-policy/reference 权重搬运、ViT/projector memory management。 Agent layer：multimodal tools、Claude Code/AutoClaw/OpenClaw integration、official skills、ImageMining benchmark。

Figure 1 解读：这张图展示 CogViT-L (403M) 与 SigLIP2-SO、DFN-H、MetaCLIP2-H 在三类视觉编码器评测上的比较。CogViT 在 ImageNet-1K zero-shot 为 83.5，在 38 CLIP Bench mean 为 70.4，在 14 General Obj Bench mean 为 45.1。前两项略高于或接近同级 SOTA，第三项低于 MetaCLIP2-H 的 45.0 仅 0.1 个点并高于 SigLIP2-SO/DFN-H。论文用该图支撑一个方法判断：agentic VLM 不能只依赖语言推理，视觉 encoder 的细粒度物体、空间和几何能力仍然是上层 agent 的基础。

3.2 CogViT vision encoder

CogViT 被描述为 parameter-efficient vision encoder，核心目标是 general object recognition、fine-grained understanding、geometric/spatial perception。第一阶段使用 distillation-based masked image modeling。Masking ratio 是 35%。分辨率是 。Student ViT 重建 masked regions 在两个 teacher feature space 中的表示。SigLIP2 作为 semantic representation teacher。

DINOv3 作为 texture feature teacher。第一阶段训练数据采用 quality-aware mixture。数据配比是 80% high-quality natural images、10% instruction-following data、10% scientific imagery。优化器是 Muon，schedule 是 cosine decay。作者加入 QK-Norm，对 attention 前的 query/key vector 归一化。QK-Norm 的作用是缓解 logit explosion，保证 scale-up 时的稳定性。第二阶段转向 contrastive image-text pretraining。

它的目标是把视觉和文本特征对齐到 shared embedding space。与第一阶段相比，第二阶段有三个升级。升级 1：用 NaFlex 替代固定 ，处理 variable-size inputs 并保留原始 aspect ratio。升级 2：使用 sigmoid-based SigLIP loss，把 global batch size 扩到 64K。升级 3：使用 8-billion bilingual Chinese-English image-text corpus，加强跨语言理解。

第二阶段仍使用 Muon，但对 vision、text、projection components 采用 module-specific learning rates 和 decay schedules。直觉上，CogViT 的两阶段设计先让视觉编码器学到稳定的视觉局部/语义表示，再用大规模双语图文对齐把这些视觉表示接到语言空间。这样做比直接把现成视觉 encoder 插入 VLM 更贴近 agent 需求：GUI、网页复刻、图表搜索、grounding 和 UI-to-code 都需要局部结构、坐标关系、跨语言文本和视觉证据同时可靠。

3.3 Multimodal Multi-Token Prediction (MMTP)

Figure 2 解读：图右侧是 GLM-5V-Turbo 的 multimodal backbone：Visual Inputs 经过 CogViT + MLP Adapter，Text Inputs 经过 Embedding Layer，两者组成混合序列进入 Transformer Block。上方 MTP Module 1/2/3 共享参数，用于多 token 预测。左侧比较三种把 image tokens 传给 MTP head 的方式：直接传 visual embeddings、mask visual tokens、以及 adopted 的 <|image|> placeholder。底部 loss 曲线显示 Option 3 在 0.5B ablation 中比 Option 1 更低且更稳定。

MMTP 是 text-only MTP 的多模态扩展。 标准 text-only MTP 中，prefix tokens 可以通过 token IDs 进入 MTP head，再由 word embedding layer 嵌入。 多模态场景的关键问题是：image tokens 应该如何传给 MTP head。 论文系统比较了三种方案。 Option 1：直接把 LLM backbone input 中的 visual embeddings 传给 MTP head。 Option 2：在 MTP head input 处 mask 掉所有 visual tokens，相当于退化为 text-only MTP。 Option 3：保留 visual positional information，但把所有 visual tokens 替换成共享可学习的 <|image|> special token。 GLM-5V-Turbo 最终采用 Option 3。 选择 Option 3 的核心理由有两个。第一，直接传 visual embeddings 会要求在 pipeline-parallel stages 之间传播视觉嵌入，增加通信复杂度和工程维护成本；<|image|> token 避免了这点。第二，0.5B 模型 ablation 显示 <|image|> 方案训练 loss 更低、收敛更稳定。作者推测原因是 MTP head 通常较轻，无法充分吸收与文本 embedding 分布差异很大的 visual representations；placeholder 让输入形式更统一，从而降低优化难度。 与 fully masking visual tokens 相比，Option 3 仍然自然兼容 sequence parallelism 和 context parallelism。 它不需要额外处理 visual-embedding partitioning、alignment 或 offset mapping。 因此 MMTP 的贡献不是一个新闭式损失，而是多模态 token 表示如何进入 MTP 训练头的基础设施设计。 论文未给出新的数学公式；本笔记不补写作者未报告的损失函数。

3.4 Broad training across perception, reasoning, and agent capability

论文认为 multimodal agent 的实际表现取决于 perception、reasoning、planning、execution 的共同发展。 因此窄域优化不够，预训练阶段就要深度整合 vision and language。 预训练数据包括 plain text 和 multimodal data 的混合。 多模态数据类别覆盖 world knowledge。 多模态数据类别覆盖 interleaved image-text。 多模态数据类别覆盖 OCR。 多模态数据类别覆盖 coding。 多模态数据类别覆盖 GUI。 多模态数据类别覆盖 video。 多模态数据类别覆盖 multimodal tool-use。 多模态数据类别覆盖 spatial perception。 多模态数据类别覆盖 grounding。 多模态数据类别覆盖 academic problem-solving。 作者特别强调 multimodal coding data，因为它同时锻炼 visual understanding 与 code generation。

3.5 Joint RL over 30+ task categories

GLM-5V-Turbo 进一步进行超过 30 个 task categories 的 joint RL optimization。论文提到的技术改进包括 UI-to-code tasks 中的 relative visual policy optimization。相对 SFT，RL 阶段在 RefCOCO-avg 上提升 4.8%。相对 SFT，RL 阶段在 PointBench 上提升 3.2%。相对 SFT，RL 阶段在 MVBench 上提升 5.6%。相对 SFT，RL 阶段在 SUNRGBD 上提升 7.7%。相对 SFT，RL 阶段在 OCRBench 上提升 4.2%。相对 SFT，RL 阶段在 CharXiv 上提升 7.7%。

reasoning-heavy STEM 任务上，MMMU_Val、MMMU_Pro、MathVista、LogicVista 组合提升 1.8%。agentic GUI 任务 OSWorld 提升 4.9%。coding agent 的 CC-Backend 提升 0.2%。general tool use 的 MMSearch 提升 3.5%。论文对 multi-task RL 的解释不是简单的“任务更多所以分数更高”。作者观察到，RL 相比 SFT 更少出现跨域 trade-off，多领域可以一起稳定提升；在分布较窄、single-task RL 容易 oscillation 的域里，collaborative training 可以暴露更多策略分布，让优化更稳。

更重要的是，不同任务之间可能发生 thinking pattern transfer：一个域中学到的推理行为可能迁移到另一个域，带来可测收益。但论文也指出 broad coverage 不等于完全解决。RL 未覆盖的能力在 post-training 后有时会下降。一个解释是模型容量和 learned thinking patterns 会越来越集中到 sampled task distribution。因此 RL task coverage 本身会塑造最终 generalization boundary。即便某个目标能力不能直接写成 RL task，语义或结构相关的 proxy tasks 也可能提供优化信号。

例子：single-turn UI-to-code generation 的 RL 可以支持更复杂的 multi-turn coding ability。

3.6 Multimodal RL infrastructure

RL infrastructure 的系统压力

大规模多任务 multimodal RL 比常规训练更复杂。它要处理 prompt length、response length、image/video token count 的巨大差异。它要支持 single-step 与 multi-step tasks。每个 task 可能需要 rule-based verifier，也可能需要 model-based judge。论文把训练栈重构为四个维度。维度 1：unified task and reward abstraction。维度 2：end-to-end asynchrony and stage overlap。

VLM RL Gym：任务与 verifier 抽象

维度 3：fine-grained memory management for multimodal workloads。维度 4：topology-aware partitioning and load balancing for visual inputs。VLM RL Gym 为 single-step 和 multi-step tasks 提供统一环境接口。独立 reward system 集中编排多个 verifier。Rule-based verifiers 本地同步执行。Model-based judges 通过 API 异步调用。

Reward aggregation 与 pipeline decoupling

多个 verifier 输出再通过 configurable aggregation strategies 组合成 rewards。Full-pipeline decoupling 把 rollout inference、reward evaluation、batch construction、weight transfer 解耦。每个 inference request 注册 completion callback。单个 request 完成后即可触发 reward computation，不必等完整 rollout batch。Batch construction 与 old-policy weights 的 CPU–GPU transfer 并行。

Reference model：CPU offload 与异步 prefetch

Reference model 参数常驻 CPU memory。Reference forward 前异步 prefetch 到 GPU。Reference forward 后立即释放，从而和主训练 step 更好 overlap。系统支持基于 completion count 或 time threshold 的 two early-abort modes。被 abort 的 prompts 可缓存复用，降低 long-tail latency，同时尽量不损失数据利用率。标准 recomputation 主要面向 text-only training，不适合多图像/视频带来的 activation memory bottleneck。

ViT/projector activation memory

因此论文为 ViT 和 projector 设计单独 memory-management strategies。它组合 targeted recomputation 与 CPU offloading。目标是避免 activation memory 按图像数量线性增长。对 long videos 等变长视觉输入，论文引入 topology-aware partitioning 与 dynamic load balancing。传统实现中 partitioning 在 forward pass 中进行，每个 rank 先持有完整 patch tensor 后再重分发。本文把 CP/TP partitioning 前移到 data-loading stage。

Topology-aware partition 与 dispatch

Partition boundaries 与 downsample groups 对齐。经过 DP groups 的 load balancing 后，再通过 asynchronous all-to-all 精确 dispatch。每个 rank 只接收自己实际需要的 partition。大型 Python objects 从 GPU communication path 移到 CPU path。实践中 GPU communication buffer overhead 减少约 7 GB。

Joint bin-packing：长度与视觉 token 双约束

对 rollout 产生的 variable-length sequences，系统同时按 sequence length 和 ViT token count 做 joint bin-packing。

3.7 Multimodal toolchain and external agent frameworks

GLM-5V-Turbo 扩展了 multimodal toolchain，使模型支持更完整的 perception–planning–execution loop。General recognition tools 包括 zai_recognize_plant、zai_recognize_location、zai_recognize_person。Multimodal search tools 包括 zai_search_web_text、zai_search_web_by_image、zai_search_similar_images、zai_search_web_images、zai_search_scholar。

Browser tools 包括 zai_load_image_from_url、zai_read_webpage。Image processing tools 包括 zai_crop_image、zai_draw_image_bounding_boxes、zai_draw_image_point_markers、zai_draw_image_geometry、zai_draw_image_3d_bounding_boxes、zai_draw_video_objects_tracking。

Creation tools 包括 submit_plan、apply_edits、zai_generate_web_html、zai_generate_web_outline、zai_generate_slide_html、zai_generate_outline_ppt。Deep research tools 包括 zai_dr_python、zai_dr_open_url_mm、zai_dr_visit_img、zai_dr_search、zai_dr_images_search、zai_dr_images_lens。

Figure 3 解读：这张图展示 UI-to-code / webpage recreation 的 agentic 工作流。左侧是 reference screenshot 与 prompt，右侧是多步探索/生成过程：模型不是一次性输出 HTML，而是围绕截图和页面资产逐步理解布局、补全交互状态、检索和复用图像资产，最终生成更完整的网页。这正好体现论文的主张：visual environment 不只是输入描述，而是 agent 执行过程中的持续 grounding signal。

与 Claude Code 集成后，GLM-5V-Turbo 从被动代码生成器变为系统级 collaborator。 Claude Code 处理逻辑、终端和本地文件环境。 AutoClaw 提供 browser-based / GUI-centric automation 的“hands”。 GLM-5V-Turbo 作为 AutoClaw 的 vision-language controller。 OpenClaw、AutoClaw、Claude Code 都被论文列为可集成框架。

论文提出 “think with image, deep search with image” 的评测范式。 ImageMining 是自收集的 vision-centric deep search benchmark。 它测试 high-density visual understanding 与 autonomous multimodal search 的整合。 任务类型包括 universal recognition，例如 flora、fauna、artifacts 的细粒度识别。 数据构造 pipeline 覆盖 knowledge discovery、QA reconstruction、quality filtering。 关键约束是 Visual Jump (WEB_VISUAL)。 Visual Jump 要求 discovery 中的中间 reasoning hops 必须涉及视觉跳转。 这会迫使模型解析图像，而不是只依赖文本捷径或参数知识。 作者还构造 OCR Search data，面向 charts、maps、posters。 OCR Search 要求模型先做 entity isolation 和 localized cropping，再发起 search chains。 因而图像从静态输入变成深度探索中的交互式环境。

Figure 6 解读：该图展示 multimodal deep research 与内容创作场景：模型把网络检索得到的视觉材料、页面证据和文本结论组织成图文交织报告。它不是单纯回答问题，而是完成证据收集、材料筛选、结构化排版和视觉-文本一致性保持。这说明论文把 agent capability 视为端到端工作流，而不是孤立 VQA。

3.9 Official GLM-V code boundary and public implementation evidence

官方 ranking pass 给出的代码仓库是 https://github.com/zai-org/GLM-V。本次检查该仓库的默认分支为 main，ref 为 main@b0467612，提交日期 2026-05-16。仓库 README 已把 GLM-5V-Turbo 作为 2026-04-02 release/news 入口列出，并链接到 GLM-skills；同一仓库还公开了 inference/、examples/gui-agent/、skills/ 与 glmv_reward/。需要明确边界：当前 public repo 不是 GLM-5V-Turbo 的完整训练代码发布；没有公开 CogViT 训练脚本、MMTP training head、30+ task joint RL launcher 或论文中的完整 VLM RL Gym 训练配置。因此下方 pseudocode 与映射表只锚定 released GLM-V inference / GUI-agent / skill / reward-system layer，模型结构和训练细节仍以论文 PDF/source 为准。

论文公式与 released code 实现差异：论文报告的是 GLM-5V-Turbo 的 CogViT、MMTP 与 multimodal RL 训练系统；released GLM-V repo 主要公开 GLM-V 系列 inference、GUI-agent demos、skills 与 VLM reward verifier system，并未给出 GLM-5V-Turbo 训练公式对应的可运行实现。因此这里不是某个公式参数写错，而是 paper-described training stack 与 public-code coverage 的范围差异。

Code reference: main @ b0467612 (2026-05-16) — pseudocode and mapping based on this GLM-V commit; related GLM-skills main@2ecd31c3, ImageMining main@39cab09c used only as public skill/data references.

代码映射表

Paper ConceptSource FileKey Class/Function
Official GLM-V release / GLM-5V-Turbo linkREADME.md, README_zh.mdproject updates, GLM-5V-Turbo release link, model implementation pointers
Transformers multimodal inferenceinference/trans_infer_cli.pybuild_content, main, AutoProcessor, Glm4vForConditionalGeneration, Glm4vMoeForConditionalGeneration, model.generate
Gradio multimodal chat demoinference/trans_infer_gradio.pyload_model, GLM4VModel, file handling for image/video/PDF/PPT, threaded model.generate
Robust video / reasoning benchmark inferenceinference/trans_infer_bench.pyRobustInference, two-stage generation when </think> / <answer> is incomplete
VLM reward system abstractionglmv_reward/src/glmv_reward/reward_system.pyRewardSystem, config loading, datasource-to-verifier mapping, get_reward path
Verifier registry for multimodal RL rewardsglmv_reward/src/glmv_reward/verifiers/__init__.py_VERIFIER_REGISTRY, get_verifier_from_config; includes math, OCR, VQA, multi-image, AndroidWorld/OSWorld/WebVoyager file-based verifiers
GUI agent prompt/action demoexamples/gui-agent/glm-45v/gui_agent_45v.pyhistory image compression, GUI prompt construction, OpenAI-compatible GLM API calls, action parsing
Grounding skill / API layerskills/glmv-grounding/scripts/glm_grounding_cli.pyDEFAULT_MODEL="glm-5v-turbo", DEFAULT_API_URL, media URL checks, coordinate parsing and visualization
ImageMining benchmark datazai-org/ImageMining/data.jsonlpublic benchmark/data subset checked at main@39cab09c

Source-anchored pseudocode: released inference path

def glmv_transformers_chat(model_path, turns, image_paths=None, video_path=None, max_new_tokens=2048):
    processor = AutoProcessor.from_pretrained(model_path)
    if "GLM-4.5V" in model_path or "GLM-4.6V" in model_path:
        model = Glm4vMoeForConditionalGeneration.from_pretrained(
            model_path, torch_dtype="auto", device_map="auto"
        )
    else:
        model = Glm4vForConditionalGeneration.from_pretrained(
            model_path, torch_dtype="auto", device_map="auto"
        )
 
    content = []
    for path in image_paths or []:
        content.append({"type": "image", "url": path})
    if video_path is not None:
        content.append({"type": "video", "url": video_path})
    content.append({"type": "text", "text": turns[-1]})
 
    messages = [{"role": "user", "content": content}]
    inputs = processor.apply_chat_template(
        messages, tokenize=True, add_generation_prompt=True, return_tensors="pt", return_dict=True
    ).to(model.device)
    output_ids = model.generate(**inputs, max_new_tokens=max_new_tokens)
    return processor.decode(output_ids[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=False)

Source-anchored pseudocode: reward verifier path

def score_vlm_rollout(config_file, datasource, prompt, model_answer, ground_truth, image_file=None):
    reward_system = RewardSystem(config_file)
    verifier_config = reward_system.datasource_reward_configs[datasource]
    verifier = get_verifier_from_config(verifier_config, datasource=datasource)
 
    if isinstance(model_answer, str) and not reward_system.check_answer_format(model_answer):
        return verifier.min_reward
    extracted_gt = verifier.extract_answer(ground_truth, question=prompt)
    extracted_answer = verifier.extract_answer(model_answer, question=prompt)
    reward = verifier.judge(
        extracted_answer, extracted_gt, question=prompt, image_file=image_file
    )
    return float(reward)

Source-anchored pseudocode: GUI / grounding skill path

def run_glmv_grounding_skill(file_url, prompt, visualize=False, out_dir=None):
    api_url, api_key = get_config()  # defaults to BigModel chat-completions endpoint
    assert is_public_url_or_local_media(file_url)
    messages = build_multimodal_messages(file_url=file_url, prompt=prompt)
    raw = call_chat_completions(
        api_url=api_url, api_key=api_key, model="glm-5v-turbo", messages=messages
    )
    coords = parse_coordinates_from_response(raw)
    detections = parse_detection_from_response(raw)
    tracks = parse_mot_from_response(raw)
    if visualize:
        visualize_boxes_or_tracks(file_url, coords, detections, tracks, out_dir)
    return {"coords": coords, "detections": detections, "tracks": tracks}

3.10 Design lenses from development

Lens 1: Perception remains foundational. 高层 planning/reasoning/reflection 仍然依赖细粒度视觉和空间理解。论文指出 multimodal coding 与 grounding 是有效的 perceptual learning proxy tasks。Frontend 或 SVG coding 要求模型捕捉 layout、structure、relative position、local detail，而不是只识别粗粒度语义。

加入 subject-specific images 与 SVG representations 的 paired data 有助于 STEM problem solving。RL 中加强 grounding-related training 也能改善 GUI-agent performance。GUI-agent instruction tuning 中加入 critic data，让模型批判自己的 perception error，例如误读元素或误判位置。

Lens 2: Agent capability benefits from hierarchical optimization. Agent training 资源昂贵：环境构建、任务构建、优质数据、可靠验证都很难。长程 agent task 具有 non-unique solution paths 和强 environment-state dependence。因此作者把优化分布到能力层级上，而不是只优化 high-level long-horizon tasks。

GUI agent 中的层级包括 element perception、GUI grounding、single-step action prediction、trajectory-level action prediction。低层任务更容易构造、标注和验证；在低层能力不稳时直接推高层任务往往效率低且训练不稳定。Lens 3: Long-horizon tasks need specification, verification, and procedural control. 真实 agent 设置常常开放、非唯一、难复现。End-to-end task 的价值不只取决于真实程度，也取决于能否清晰指定、可靠验证、受控评估。

Vision2Web 是这一观点的例子：任务不只由文本 instruction 定义，还可包含 PRD、mockup、reference screenshots、target interaction outcomes。Workflow-based verification 通过一系列 dependent steps 评估执行，而不是只看最终状态。这更容易比较系统、归因失败，并区分 functional correctness 与 visual consistency。

4. Experimental Setup (实验设置)

4.1 训练数据与规模

论文没有公开完整训练语料的总 token 数、图像数、视频数或采样权重。 已公开的视觉预训练第一阶段配置包括：35% masking ratio、 resolution。 第一阶段数据 mixture 是 80% high-quality natural images、10% instruction-following data、10% scientific imagery。 第一阶段使用 SigLIP2 与 DINOv3 作为 dual teachers。 第二阶段使用 8-billion bilingual Chinese-English image-text corpus。 第二阶段 global batch size 是 64K。 多模态预训练数据类别包括 world knowledge、interleaved image-text、OCR、coding、GUI、video、tool-use、spatial perception、grounding、academic problem-solving。 RL 阶段覆盖超过 30 个 task categories。 ImageMining 公开仓库本次检查到 data.jsonl 为 217 行，可视为公开 benchmark/data 子集。

4.2 Baselines

多模态 coding / tool-use / GUI agent 图中主要对比 Kimi K2.5 与 Claude Opus 4.6。 Text coding / Claw 图中对比 GLM-5-Turbo、Kimi K2.5 与 Claude Opus 4.6。 CogViT 图中对比 SigLIP2-SO (427M)、DFN-H (632M)、MetaCLIP2-H (632M)。 论文在文字中也与 GLM-4.6V 做代际比较，指出 GLM-5V-Turbo 在 MMSearch-Plus 上达到 30.0，接近前代约八倍。

4.3 Evaluation categories

Multimodal Coding：Design2Code、Flame-VLM-Code、Vision2Web。 Multimodal ToolUse：ImageMining、BrowseComp-VL、MMSearch、MMSearch-Plus、SimpleVQA、Facts、V*。 GUI Agent：OSWorld、AndroidWorld、WebVoyager。 Text-only Coding and Claw：CC-Bench-V2、PinchBench、ClawEval、ZClawBench。 Vision encoder evaluation：ImageNet-1K zero-shot、38 CLIP Bench mean、14 General Obj Bench mean。

4.4 Metrics

图中大多数 benchmark 报告 score 或 accuracy；具体指标定义以各 benchmark 原论文为准。 CogViT 图明确纵轴为 Accuracy (%)。 PinchBench 报告 Best / Avg。 ClawEval 报告 Pass^3 / Pass@3。 其他如 Design2Code、MMSearch、OSWorld、AndroidWorld、WebVoyager 均按 benchmark score 展示。 RL gain 段落报告的是相对 SFT 的 percentage-point improvements。

4.5 Training config 已知与未知

已知：CogViT 第一阶段 mask ratio 为 35%。已知：第一阶段分辨率为 。已知：第一阶段数据比例为 80/10/10。已知：第二阶段 NaFlex 处理 variable-size inputs。已知：第二阶段 global batch size 为 64K。已知：第二阶段使用 SigLIP loss 与 bidirectional distributed implementation。已知：第二阶段使用 8B 中英双语图文语料。已知：优化器为 Muon，并对 vision/text/projection components 使用 module-specific LR 与 decay。

已知：RL 使用 30+ task categories，并采用 relative visual policy optimization 等技术。已知：多模态 RL infra 通过 CPU offloading、upstream CP/TP partitioning 和 all-to-all dispatch 减少内存/通信压力。未公开：GLM-5V-Turbo 主模型参数量、完整训练 steps、GPU type/count、学习率具体数值、batch composition、完整 SFT/RL 数据清单。未公开：CogViT/MMTP/RL stack 的源码实现和完整可复现配置。

5. Experimental Results (实验结果)

5.1 CogViT vision encoder results

ImageNet-1K zero-shot：CogViT-L 83.5，SigLIP2-SO 83.3，DFN-H 83.4，MetaCLIP2-H 79.8。 38 CLIP Bench mean：CogViT-L 70.4，SigLIP2-SO 69.1，DFN-H 69.6，MetaCLIP2-H 67.7。 14 General Obj Bench mean：CogViT-L 45.1，SigLIP2-SO 41.5，DFN-H 43.9，MetaCLIP2-H 45.0。 解释：CogViT 在 general recognition 和 CLIP-style average 上领先，在 general object benchmark 上与 MetaCLIP2-H 基本持平。 这支持作者关于“perception remains foundational”的判断，但图中只覆盖 vision encoder 层面，不等同于完整 agent benchmark。

5.2 MMTP ablation result

论文在 0.5B model 上比较 Option 1 direct visual embeddings 与 Option 3 <|image|> placeholder。 Figure 2 底部 loss 曲线显示 Option 3 训练 loss 更低。 Option 3 也被描述为收敛更稳定。 论文没有给出表格化的 exact loss 数值；结论来自曲线和文字说明。 该 ablation 主要证明 placeholder 方案兼顾 optimization behavior 与 system efficiency。

5.3 RL over 30+ categories: 相对 SFT 的增益

RefCOCO-avg：+4.8%。 PointBench：+3.2%。 MVBench：+5.6%。 SUNRGBD：+7.7%。 OCRBench：+4.2%。 CharXiv：+7.7%。 MMMU_Val / MMMU_Pro / MathVista / LogicVista 这组 STEM reasoning-heavy tasks：+1.8%。 OSWorld：+4.9%。 CC-Backend：+0.2%。 MMSearch：+3.5%。 解释：perception、reasoning、agentic、tool-use 都有提升，说明 joint RL 不只是过拟合一个任务族。 但 CC-Backend +0.2% 很小，说明并非所有域都获得大幅改进。 论文也承认未覆盖能力可能在 post-training 后下降，因此 task coverage 是泛化边界的重要因素。

5.4 Multimodal coding / tool-use / GUI agent benchmarks

Figure 4 解读：这张图把 GLM-5V-Turbo 与 Kimi K2.5、Claude Opus 4.6 放在 multimodal coding、multimodal tool-use、GUI agent 三类 benchmark 上比较。GLM-5V-Turbo 在 Design2Code、ImageMining、BrowseComp-VL、MMSearch、MMSearch-Plus、SimpleVQA、Facts、V*、AndroidWorld、WebVoyager 等多项上领先或接近领先；在 Vision2Web、OSWorld 上弱于 Claude Opus 4.6。这说明它的强项集中在视觉搜索、视觉 grounding QA、UI-to-code 与部分 GUI 执行，但不是所有长程 GUI benchmark 都全面领先。

CategoryBenchmarkGLM-5V-TurboKimi K2.5Claude Opus 4.6
Multimodal CodingDesign2Code94.891.377.3
Multimodal CodingFlame-VLM-Code93.888.898.8
Multimodal CodingVision2Web31.033.243.5
Multimodal ToolUseImageMining30.724.4-
Multimodal ToolUseBrowseComp-VL51.942.935.9
Multimodal ToolUseMMSearch72.958.763.8
Multimodal ToolUseMMSearch-Plus30.025.625.6
Multimodal ToolUseSimpleVQA78.271.563.2
Multimodal ToolUseFacts58.657.8-
Multimodal ToolUseV*89.084.366.5
GUI AgentOSWorld62.363.372.2
GUI AgentAndroidWorld75.743.162.0
GUI AgentWebVoyager88.584.388.0

Design2Code：GLM-5V-Turbo 94.8，高于 Kimi K2.5 91.3 和 Claude Opus 4.6 77.3。Flame-VLM-Code：Claude Opus 4.6 最高 98.8，GLM-5V-Turbo 为 93.8。Vision2Web：Claude Opus 4.6 最高 43.5，GLM-5V-Turbo 为 31.0。ImageMining：GLM-5V-Turbo 30.7，高于 Kimi K2.5 24.4；Claude 未报告。BrowseComp-VL：GLM-5V-Turbo 51.9，高于 Kimi 42.9 和 Claude 35.9。

MMSearch：GLM-5V-Turbo 72.9，高于 Kimi 58.7 和 Claude 63.8。MMSearch-Plus：GLM-5V-Turbo 30.0，高于 Kimi/Claude 的 25.6。SimpleVQA：GLM-5V-Turbo 78.2，高于 Kimi 71.5 和 Claude 63.2。Facts：GLM-5V-Turbo 58.6，略高于 Kimi 57.8；Claude 未报告。V*：GLM-5V-Turbo 89.0，高于 Kimi 84.3 和 Claude 66.5。OSWorld：GLM-5V-Turbo 62.3，略低于 Kimi 63.3，明显低于 Claude 72.2。

AndroidWorld：GLM-5V-Turbo 75.7，高于 Kimi 43.1 和 Claude 62.0。WebVoyager：GLM-5V-Turbo 88.5，略高于 Claude 88.0，高于 Kimi 84.3。

5.5 Text coding and Claw agent benchmarks

Figure 5 解读：这张图检验加入视觉能力后是否牺牲 text-first coding 与 Claw agent 能力。GLM-5V-Turbo 在 CC-Backend、CC-Frontend、ZClawBench 上不是最高，但在 CC-Repo-Exploration、PinchBench、ClawEval 上有竞争力。论文把这解释为：多模态能力没有明显破坏底层 coding/reasoning，模型仍能作为 multimodal agentic foundation。

CategoryBenchmarkGLM-5V-TurboGLM-5-TurboKimi K2.5Claude Opus 4.6
CodingCC-Backend22.820.525.326.9
CodingCC-Frontend68.469.462.375.9
CodingCC-Repo-Exploration72.268.966.774.4
ClawPinchBench Best/Avg87.0 / 80.786.5 / 81.184.8 / 79.293.3 / 82.9
ClawClawEval Pass^3/Pass@357.7 / 75.051.0 / 72.152.9 / 73.166.3 / 77.9
ClawZClawBench57.660.649.162.3

CC-Backend：GLM-5V-Turbo 22.8，高于 GLM-5-Turbo 20.5，但低于 Kimi 25.3 和 Claude 26.9。 CC-Frontend：GLM-5V-Turbo 68.4，接近 GLM-5-Turbo 69.4，高于 Kimi 62.3，低于 Claude 75.9。 CC-Repo-Exploration：GLM-5V-Turbo 72.2，高于 GLM-5-Turbo 68.9 和 Kimi 66.7，低于 Claude 74.4。 PinchBench Best/Avg：GLM-5V-Turbo 87.0 / 80.7，Best 高于 GLM-5-Turbo 和 Kimi，但低于 Claude；Avg 略低于 GLM-5-Turbo 与 Claude。 ClawEval Pass^3/Pass@3：GLM-5V-Turbo 57.7 / 75.0，高于 GLM-5-Turbo 与 Kimi，低于 Claude。 ZClawBench：GLM-5V-Turbo 57.6，高于 Kimi 49.1，低于 GLM-5-Turbo 60.6 与 Claude 62.3。

5.6 主要结论

GLM-5V-Turbo 的最强证据来自 tool-use、multimodal search、AndroidWorld、WebVoyager 和 UI/coding 相关 benchmark。 CogViT 结果说明视觉 encoder 层面已经具备强 general/fine-grained 能力。 MMTP ablation 说明 <|image|> placeholder 是合理的工程折中：更低 loss、更稳定、更容易扩展到 pipeline/context/sequence parallel。 Joint RL 的增益覆盖 perception、reasoning、agentic 和 tool-use，支持“多任务策略共享”的叙事。 但 Vision2Web、OSWorld、CC-Backend、CC-Frontend、ZClawBench 等结果提醒：GLM-5V-Turbo 并非所有 agent/coding benchmark 都领先。 因此更准确的结论是：它展示了原生多模态 agent foundation model 的系统性可行路径，而不是单模型在全部 agent benchmarks 上全面胜出。

5.7 局限与开放问题

未公开完整训练代码：没有找到 CogViT、MMTP、VLM RL Gym、RL stack 的公开源码，复现只能依赖论文描述和官方 skills/benchmark。训练细节不完整：GPU type/count、完整学习率、完整数据配比、SFT/RL prompt 和 verifier 配置未详细说明。未覆盖能力可能下降：论文明确说 RL 未覆盖的能力在 post-training 后可能下降。Agent strategy emergence 仍未解决：当前 agent training 仍依赖手工或强过滤 cold-start trajectories，容易限制策略探索空间。

Trajectory diversity 只是第一步：增加 cold-start trajectory diversity 可以放松约束，但更根本目标是模型自主发现更好的推理和行动策略。多模态长上下文仍是瓶颈：图片和视频比文本更快消耗 context budget，丢弃早期视觉观察会损失布局、空间关系、视频时间变化等后续可能需要的信息。Text-centric memory 不够：现有 memory 机制更擅长压缩“说过什么”，不擅长压缩“看到了什么”和视觉状态如何演化。

Model 与 harness 共同决定能力边界：task decomposition、tool policy、memory、verification loop 都会改变同一模型的实际表现。Harness 不是固定外层：当模型跨过推理、规划、反馈利用能力阈值后，某些以前无效的 harness 设计可能变得关键。评估仍受 procedural control 影响：长程任务必须有清晰 specification、可靠 outcome verification 和 controlled evaluation，否则结果难以归因。

5.8 实践启发

如果把 GLM-5V-Turbo 作为 agent 模型使用，优先设计视觉观察的保留、压缩和再检索机制。 对 GUI/web/code agent，不要只评估最终答案；应记录 screenshot、动作、工具调用、verifier 输出和失败阶段。 对 RL 数据构造，不应只追求长程任务数量；低层 perception/grounding/action-prediction proxy tasks 可能更高效。 对工具生态，官方 skills 说明“模型能力”需要配套工具、API key、渲染、可视化和安全边界才能形成可用 agent workflow。 对复现者，当前能复现的是 skills/benchmark 层，不是 GLM-5V-Turbo 的完整训练。 对研究者，最值得继续追的问题是多模态 memory、strategy emergence、harness-model co-optimization，而不只是扩 benchmark 分数。