{"componentChunkName":"component---src-templates-acg-portal-new-template-tsx","path":"/bmwbjsae8","result":{"data":{"markdownRemark":{"html":"

在百舸上使用 Mind2Act 评测镜像评测视觉-动作模型

\n

概述

\n

Mind2Act 是面向「想&做」协同的跨架构诊断 Benchmark，提供 30 个双臂操作任务、90 种任务配置与 4,500 条专家示范。平台分别检验模型的「想」（Mind）与「做」（Act），再检验二者能否协同（Mind2Act），并为每个被测模型生成一张诊断卡，说明短板所在、失败发生在哪一步、下一步该补什么。

\n

本镜像打包了社区版评测代码与完整运行环境：任务在 Isaac Sim 5.1 中由双臂 ARX X5 执行，分 old15、new15 两套 release，每个任务有 easy/medium/hard 三档配置，clean 模式每档 50 个冻结实例。镜像内置一键评测脚本，在百舸上申请多卡即可并行跑评测。

\n

详见官网：https://mind2act-world.com/index.html

\n

适用场景

\n\n

环境与资源要求

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
项目说明
镜像地址ccr-registry.baidubce.com/aihc/mind2act:torch270_cuda128_sim5-1_20261110
代码目录/root/workspace/mind2act-eval
评测脚本目录/root/workspace/mind2act-scripts（一键入口 run.sh，另有 run_batch.sh、list_cases.py、summary.py）
运行时环境Isaac Sim 5.1.0，入口 /root/isaac-sim/python.sh
GPU支持图像渲染的卡型
\n

镜像内置软件栈：

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
组件版本
Python3.11.13
PyTorch2.7.0+cu128（CUDA 12.8）
torch 编译架构sm_75 / 80 / 86 / 90 / 100 / 120
ffmpeg6.1.1
其他Vulkan / GL 运行库；/root/venvs/hf-dl 内置 huggingface_hub 2.4.0（用于下载资产）
\n
\n

镜像内不含任何凭证（HF token、模型 API key 等），运行时通过任务环境变量传入。镜像已清空着色器与 Warp 缓存，每种 GPU 首次启动 Isaac 会重新编译，首局偏慢属正常现象。\n镜像登录 shell 会自动加载 /etc/profile.d/mind2act.sh，预置以下环境变量（一般无需改动）：

\n
\n\n
\n
\n
\n Bash\n \n
\n
\n 
1export ISAAC_PYTHON=/root/isaac-sim/python.sh\n2export M2A_CODE_ROOT=/root/workspace/mind2act-eval\n3export M2A_PYTHON_OVERLAY=/root/workspace/mind2act-overlay\n4export MIND2ACT_ASSET_ROOT=/mnt/pfs/datasets/Mind2act/mind2act-assets\n5export PYTHONNOUSERSITE=1\n6export PYTHONPATH=\"$M2A_CODE_ROOT/src:$M2A_PYTHON_OVERLAY${PYTHONPATH:+:$PYTHONPATH}\"
\n
\n
\n
\n \n

准备工作

\n

下载评测资产

\n

评测资产约 70 GB，不打进镜像，需先下载到 PFS，再把 PFS 挂到评测环境的 /mnt/pfs。默认路径 /mnt/pfs/datasets/Mind2act/mind2act-assets，放在其他位置时修改环境变量 MIND2ACT_ASSET_ROOT。

\n

从 BOS 下载（推荐）：百舸 BOS 上有一份同步自 HuggingFace 的镜像，且无需 HF token：

\n\n
\n
\n
\n Bash\n \n
\n
\n 
1#!/usr/bin/env bash\n2set -eo pipefail\n3# 需已配置 bcecmd 凭证（bcecmd -c 或 ~/.go-bcecli/credentials）\n4A=/mnt/pfs/datasets/Mind2act/mind2act-assets\n5mkdir -p \"$A\"\n6bcecmd bos cp bos:/aihc-rdw-bj/huggingface.co/datasets/Mind2act/mind2act-assets/ \"$A/\" \n7  --recursive --yes --disable-bar
\n
\n
\n
\n \n

从 HuggingFace 下载（Mind2act/mind2act-assets 为私有仓库，需单独申请读权限）：

\n\n
\n
\n
\n Bash\n \n
\n
\n 
1#!/usr/bin/env bash\n2set -eo pipefail\n3# HF_TOKEN 需对 Mind2act/mind2act-assets 有读权限，从环境变量传入，不要写进脚本\n4: \"${HF_TOKEN:?export HF_TOKEN first}\"\n5A=/mnt/pfs/datasets/Mind2act/mind2act-assets\n6mkdir -p \"$A\"\n7HF_HUB_DISABLE_PROGRESS_BARS=1 /root/venvs/hf-dl/bin/hf download Mind2act/mind2act-assets \n8  --repo-type dataset --revision v1.0.4 \n9  --local-dir \"$A\" --max-workers 16
\n
\n
\n
\n \n
\n

单 token 并发过高会被 HF 限流（429），下载中断时重跑同一条命令即可续传。

\n
\n

资产自检

\n

下载完成后，先做资产完整性与「代码—资产」配对校验，两项都通过才可使用：

\n\n
\n
\n
\n Bash\n \n
\n
\n 
1#!/usr/bin/env bash\n2set -eo pipefail\n3export PYTHONPATH=\"${PYTHONPATH:-}\"\n4. /etc/profile.d/mind2act.sh\n5A=$MIND2ACT_ASSET_ROOT; K=${OUTPUT_PATH:-/root/workspace/outputs}/checks; mkdir -p $K\n6\n7# 1. 资产完整性：逐文件比对 MANIFEST.json 的大小和 SHA-256\n8$ISAAC_PYTHON $A/tools/verify_manifest.py > $K/verify_manifest.log 2>&1\n9tail -c 300 $K/verify_manifest.log   # 期望 \"status\": \"passed\", \"findings\": []\n10\n11# 2. 代码与资产配对\n12cd $M2A_CODE_ROOT\n13$ISAAC_PYTHON tools/verify_release_pair.py --asset-root $A > $K/verify_release_pair.log 2>&1\n14tail -c 300 $K/verify_release_pair.log   # 期望 \"paired_files_verified\": true\n15\n16# 3. 实例输入门检查（CPU，不启动物理）\n17$ISAAC_PYTHON $A/tools/check_native_input_gates.py $K/native-input-gates.json > $K/gates.log 2>&1\n18tail -c 300 $K/gates.log   # 期望 \"cases\": 900, \"passed\": 900
\n
\n
\n
\n \n

GPU 渲染自检

\n

不依赖资产，确认 Isaac、CUDA、RTX 渲染与物理均可用。换新型号 GPU（如 3090/4090）时建议先跑一次：

\n\n
\n
\n
\n Bash\n \n
\n
\n 
1. /etc/profile.d/mind2act.sh\n2$ISAAC_PYTHON -c \"import torch;print(torch.cuda.get_device_name(0),torch.cuda.get_device_capability(0))\"\n3# 随后用镜像内自检脚本渲染一帧，期望输出非空图像、方块正常落地
\n
\n
\n
\n \n
\n

冷缓存下首次运行可能拿到空帧，重跑一次即可。

\n
\n

开通 AgentOS（使用 duclaw adapter 时）

\n

若用镜像内置的 duclaw adapter 接入被测模型，需先在百度智能云 AgentOS 文档「API 管理」 开通服务，获取 BaseURL、创建 API Key。开通后系统自动创建一个默认 API Key（不可禁用、不可更换），也可在 AgentOS 助手页面按用途另建 Key。

\n\n

开始评测

\n

统一用一键脚本 /root/workspace/mind2act-scripts/run.sh 启动。它会先检查环境（输出目录可写、资产与镜像代码配对一致、所选 GPU 全部空闲），再用评测框架在指定卡上并行跑实例，最后汇总 infra_valid、termination 计数与缺失实例，明细写到 <OUTPUT_PATH>/summary.csv。

\n
\n

百舸任务中把 PFS 挂到 /mnt/pfs，用 OUTPUT_PATH 指定 PFS 上的输出目录（如 /mnt/pfs/<your-dir>/m2a）。无需挂载 /shared：环境中没有 /shared 时 run.sh 自动建软链 /shared → OUTPUT_PATH；若环境中已有 /shared，则 OUTPUT_PATH 必须设在其下。

\n
\n

常用变量

\n

以下变量均可不设，取默认值即可跑通：

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
变量默认值说明
POLICY_KIND空空表示原始预算，仅用于环境检查；被测模型用 e2e 或 coding_agent
ADAPTERmind2act_eval.adapters.hold:create被测模型的 adapter（module:create）。hold 让机器人保持不动，仅用于环境检查；duclaw 用 mind2act_llm_e2e.duclaw:create
ADAPTER_CONFIG空adapter 的 JSON 配置文件路径，运行时按 sha256 校验
CASE_ID空只跑这些实例，逗号分隔
TASKS / LEVELS空（全部）逗号分隔，如 PR1,DR2、easy,medium
GPUS0本 Pod 内用哪些卡，逗号分隔（如 0,1,2,3）。每张卡同时跑 1 局，最多并行 6 局
SHARD / NSHARD0 / 1多个百舸任务分片，见「多任务多卡」
OUTPUT_PATH/root/workspace/outputs输出根。默认值在容器本地、任务结束即丢失，百舸任务中应设为 PFS 目录
ASSET_ROOT空资产不在默认路径时设置
\n
\n

模型 API key 等凭证用任务环境变量传入，不写进脚本。不同 POLICY_KIND 的结果不能混在一起比较，换协议时换一个 OUTPUT_PATH。

\n
\n

单任务单卡

\n\n
\n
\n
\n Bash\n \n
\n
\n 
1# 环境检查：hold，原始预算，只跑一局\n2OUTPUT_PATH=/mnt/pfs/<your-dir>/m2a-hold CASE_ID=PR1_easy_0c7134bad55b7c6c \n3  /root/workspace/mind2act-scripts/run.sh\n4\n5# duclaw，e2e 预算；MIND2ACT_API_KEY 已在任务环境变量中设置\n6OUTPUT_PATH=/mnt/pfs/<your-dir>/m2a-duclaw CASE_ID=PR1_easy_0c7134bad55b7c6c GPUS=0 \n7  POLICY_KIND=e2e ADAPTER=mind2act_llm_e2e.duclaw:create ADAPTER_CONFIG=/mnt/pfs/<your-dir>/duclaw.json \n8  /root/workspace/mind2act-scripts/run.sh\n9tail -f /mnt/pfs/<your-dir>/m2a-duclaw/logs/worker.log
\n
\n
\n
\n \n

单任务多卡

\n

一个任务×难度的全部实例分到多张卡并行，每张卡同时跑 1 局（单局不跨卡）：

\n\n
\n
\n
\n Bash\n \n
\n
\n 
1OUTPUT_PATH=/mnt/pfs/<your-dir>/m2a-duclaw TASKS=PR1 LEVELS=easy GPUS=0,1,2,3 \n2  POLICY_KIND=e2e ADAPTER=mind2act_llm_e2e.duclaw:create ADAPTER_CONFIG=/mnt/pfs/<your-dir>/duclaw.json \n3  /root/workspace/mind2act-scripts/run.sh
\n
\n
\n
\n \n\n

多任务多卡

\n

在一个 Pod 内跑多个任务和难度：

\n\n
\n
\n
\n Bash\n \n
\n
\n 
1OUTPUT_PATH=/mnt/pfs/<your-dir>/m2a-duclaw TASKS=PR1,DR2,CP01 LEVELS=easy,medium GPUS=0,1,2,3,4,5 \n2  POLICY_KIND=e2e ADAPTER=mind2act_llm_e2e.duclaw:create ADAPTER_CONFIG=/mnt/pfs/<your-dir>/duclaw.json \n3  /root/workspace/mind2act-scripts/run.sh
\n
\n
\n
\n \n

实例更多时拆成 n 个百舸任务，镜像和挂载相同。第 i 个任务（i = 0…n-1）：

\n\n
\n
\n
\n Bash\n \n
\n
\n 
1SHARD=<i> NSHARD=<n> GPUS=0,1 OUTPUT_PATH=/mnt/pfs/<your-dir>/m2a-duclaw \n2  POLICY_KIND=e2e ADAPTER=mind2act_llm_e2e.duclaw:create ADAPTER_CONFIG=/mnt/pfs/<your-dir>/duclaw.json \n3  /root/workspace/mind2act-scripts/run.sh\n4# 查看进度\n5tail -n 3 /mnt/pfs/<your-dir>/m2a-duclaw/w*/logs/worker.log
\n
\n
\n
\n \n\n

内存上限

\n

框架在每局启动前和运行中统计同一 UID 所有进程的 RSS 合计，超限的局判为 resource_limit。单局约 14 GiB。

\n\n

接入被测模型（duclaw e2e adapter）

\n

镜像内置一个 duclaw 关节空间端到端（e2e）adapter（mind2act_llm_e2e.duclaw:create）：每次决策把任务指令、当前关节状态、剩余控制行数和 3 路相机 RGB 发给模型，模型返回若干绝对关节路点（两臂各 6 个关节角加夹爪开合），adapter 按单行步长上限线性展开成 30 Hz 控制行执行，执行完再问下一次。

\n\n

配置文件（JSON）至少包含以下 3 项，未知字段会被拒绝：

\n\n
\n
\n
\n JSON\n \n
\n
\n 
1{\n2  \"log_dir\": \"/mnt/pfs/<your-dir>/m2a-duclaw/requests\",\n3  \"ledger\": \"/mnt/pfs/<your-dir>/m2a-duclaw/ledger.json\",\n4  \"ledger_limit\": 200,\n5  \"reasoning_effort\": \"medium\"\n6}
\n
\n
\n
\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
字段默认值说明
log_dir必填每局一个子目录，每次决策写一个 decision-NNNNN.json（请求骨架、模型回复、HTTP 状态、耗时、token 用量；图像只记 sha256）
ledger必填请求账本，记录每次 HTTP 请求（含失败和重试）。跨局、跨进程累计，并行局共用同一账本安全（文件锁），永不重置
ledger_limit必填账本总请求上限（正整数）。用满后该局报错终止。账本已存在时上限不能改，换上限要换 ledger 路径。建议按「实例数 × 每局决策次数 × 2」预留
max_decisions不限单局决策次数上限，用于控费；正式评测不建议设置
reasoning_effort不传透传给 Responses 接口的 reasoning.effort，如 medium
request_retries2单次请求失败（408/429/5xx、网络错误）的重试次数
parse_retries1回复不是合法 JSON 时带错误说明重问的次数
max_rows_per_decision150单次决策最多执行的控制行数（30 Hz 下 5 s）
max_step_rad / max_step_gripper0.05 / 0.25每控制行关节、夹爪的最大变化量
timeout_s180单次 HTTP 请求超时
modelA6A模型名
base_urlhttps://duclaw-gateway.baidubce.com/star/openai/v1接口前缀，adapter 在其后拼接 /responses
\n
\n

镜像内的 /root/workspace/mind2act-llm-e2e/examples/duclaw.json 只是示例，其 log_dir、ledger 在容器本地、任务结束即丢失，百舸任务中应复制一份改到 PFS 上。不占用 GPU 也能自检 adapter：$ISAAC_PYTHON /root/workspace/mind2act-llm-e2e/offline_check.py，期望最后一行 tail truncation ok。

\n
\n

查看结果

\n\n

常见问题

\n

Q：评测资产放在非默认目录可以吗？\n可以。通过环境变量 MIND2ACT_ASSET_ROOT（或 ASSET_ROOT）指向实际路径即可。

\n

Q：中断后如何续跑？\n重跑同一条启动命令即可。框架会跳过已有 infra_valid=true 结果的实例，只补余下的。

\n

Q：为什么首局特别慢？\n镜像已清空着色器与 Warp 缓存，每种 GPU 首次启动 Isaac 会重新编译，属正常现象，后续局会恢复正常速度。

\n

Q：多卡并行局数如何确定？\n并行局数等于 GPUS 卡数，单局不跨卡，最多并行 6 局。并行受内存上限约束，详见「内存上限」。

\n

Q：不同协议的结果能一起比较吗？\n不能。不传 POLICY_KIND（原始预算）仅用于 hold 等环境检查；被测模型按类型选 e2e 或 coding_agent，不同协议的结果不能混在一起比较，换协议时换一个 OUTPUT_PATH。

\n

后续操作

\n
    \n
  1. 评测日志输出到 <OUTPUT_PATH>/logs/，可通过 worker.log 观察进度。
    2. \n
  2. 全部实例跑完后用 summary.py 汇总，核对 summary.csv 中的 infra_valid、termination 与缺失实例。
    3. \n
  3. 需要换被测模型时，调整 ADAPTER / ADAPTER_CONFIG 并换一个 OUTPUT_PATH 后重新启动。
    4. \n
","fields":{"slug":"bmwbjsae8","title":"在百舸上使用 Mind2Act 评测镜像评测视觉-动作模型","date":"2026-11-11","extractedHeadings":[]},"headings":[{"value":"在百舸上使用 Mind2Act 评测镜像评测视觉-动作模型","depth":1},{"value":"概述","depth":2},{"value":"适用场景","depth":2},{"value":"环境与资源要求","depth":2},{"value":"准备工作","depth":2},{"value":"下载评测资产","depth":3},{"value":"资产自检","depth":3},{"value":"GPU 渲染自检","depth":3},{"value":"开通 AgentOS（使用 duclaw adapter 时）","depth":3},{"value":"开始评测","depth":2},{"value":"常用变量","depth":3},{"value":"单任务单卡","depth":3},{"value":"单任务多卡","depth":3},{"value":"多任务多卡","depth":3},{"value":"内存上限","depth":3},{"value":"接入被测模型（duclaw e2e adapter）","depth":2},{"value":"查看结果","depth":2},{"value":"常见问题","depth":2},{"value":"后续操作","depth":2}]}},"pageContext":{"isCreatedByStatefulCreatePages":false,"slug":"bmwbjsae8","prev":{"id":"qmw4scqus","name":"在百舸上使用 WSA 加速镜像训练 VLA 模型","path":"qmw4scqus","filePath":"操作指南/快速开始/在百舸上使用 WSA 加速镜像训练 VLA 模型.md","seo":null,"parentIds":["ilib2qygp","3ma0icym2"],"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null},{"id":"3ma0icym2","documentId":"b5f72002-c562-4200-893d-0fdfd1ed1fe8","name":"快速开始","repoName":"AIHC","filePath":"操作指南/快速开始","disabled":false,"path":"3ma0icym2","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null}]},"next":{"id":"5mwbsz3wt","name":"在百舸上使用 SparseBEV++ 加速镜像训练 3D 目标检测模型","path":"5mwbsz3wt","filePath":"操作指南/快速开始/在百舸上使用 SparseBEV++ 加速镜像训练 3D 目标检测模型.md","seo":null,"parentIds":["ilib2qygp","3ma0icym2"],"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null},{"id":"3ma0icym2","documentId":"b5f72002-c562-4200-893d-0fdfd1ed1fe8","name":"快速开始","repoName":"AIHC","filePath":"操作指南/快速开始","disabled":false,"path":"3ma0icym2","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null}]},"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null},{"id":"3ma0icym2","documentId":"b5f72002-c562-4200-893d-0fdfd1ed1fe8","name":"快速开始","repoName":"AIHC","filePath":"操作指南/快速开始","disabled":false,"path":"3ma0icym2","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null}],"specificSeo":null}}}