![\"image-20260427230356334.png\"](\"https://bce.bdstatic.com/doc/bce-doc/AIHC/image-20260427230356334_56aea73.png\")
数据处理算子可使用百舸提供的 aihc-daft 包进行开发。aihc-daft 是百度 AI 异构计算平台（AIHC）推出的多模态 AI 数据处理框架，基于 Daft 构建，提供开箱即用的数据处理算子库，支持单机多核到多机分布式的弹性扩展，面向 AI 训练数据生产场景。
\ncollect() / show() / write_*() 时统一优化执行，自动进行谓词下推、列裁剪等优化，减少不必要的 I/O 和计算开销。丰富的数据格式支持。原生支持主流数据格式的读写，包括：
\nImage、Video、Audio 等多媒体数据类型，支持直接在 DataFrame 列中存储和处理图像、音视频数据，无需手动序列化。num_gpus=0.5），框架与 Ray 协同完成 GPU 感知调度，天然适配深度学习推理、向量化等 GPU 密集型算子。daft.sql()），降低数据处理门槛，兼容熟悉 SQL 的用户习惯。select、filter、groupby、join、sort、limit 等常用操作，以及窗口函数（Window），学习成本低。你可以通过镜像或者 pip 包的方式，集成 aihc-daft。
\n1 ccr-registry.baidubce.com/aihc/aihc-daft-gpu:0.3.2-cu12.1-py3.11-ubuntu22.04镜像已经预置aihc-Daft 以及多模态算子相关的依赖以及运行环境，比如 Cuda、Conda、Ray 等，推荐直接使用
\npip包离线安装
\n1pip install aihc_daft-0.3.2-cp310-abi3-manylinux_2_12_x86_64.whl这里以图片哈希计算处理器算子为例
\ntest_image_hash.py脚本如下：
\n\n1from __future__ import annotations\n2\n3import os\n4import daft\n5from daft import col\n6\n7from daft.aihc.common.udf import aihc_udf\n8from daft.aihc.functions.image.image_hash import ImageHash\n9\n10if __name__ == "__main__":\n11 if os.getenv("DAFT_RUNNER", "native") == "ray":\n12 import ray\n13 ray.init(dashboard_host="0.0.0.0", ignore_reinit_error=True)\n14 daft.set_runner_ray()\n15 daft.set_execution_config(actor_udf_ready_timeout=6000, min_cpu_per_task=0)\n16\n17 samples = {\n18 "image": [\n19 "file:///local/sample_1.jpg",\n20 "file:///mnt/pfs/sample_2.jpg",\n21 "file:///mnt/bos/sample_3.jpg",\n22 ]\n23 }\n24 \n25 num_datasets = len(samples["image"]) \n26 ds = daft.from_pydict(samples).into_partitions(num_datasets) #强制分布式切分partitions\n27 ds = ds.with_column(\n28 "image_hash",\n29 aihc_udf(\n30 ImageHash,\n31 construct_args={\n32 "image_src_type": "image_url",\n33 "method": "phash",\n34 },\n35 num_cpus=0.5,\n36 batch_size=1,\n37 concurrency=num_datasets, # 多个数据集并发执行\n38 )(col("image")),\n39 )\n40 ds.show()分布式数据处理执行命令
\n\n1#使用DAFT_RUNNER=ray基于ray分布式执行\n2DAFT_RUNNER=ray python test_image_hash.py \n3\n4#单机执行\n5python test_image_hash.py| 参数 | \n说明 | \n默认值 | \n示例 | \n
|---|---|---|---|
operator | \n算子类（必填） | \n— | \nImageHash | \n
construct_args | \n传给算子初始化的参数 | \n{} | \nconstruct_args={ \"image_src_type\": \"image_url\", \"method\": \"phash\", } | \n
num_cpus | \n每实例占用 CPU 核数 | \nNone（由调度器自动分配） | \n2 | \n
num_gpus | \n每实例占用 GPU 卡数 | \nNone（不使用 GPU） | \n1 或 0.5 | \n
memory_bytes | \n每实例内存上限（字节） | \nNone（不限制） | \n2 * 1024^3（2GB） | \n
batch_size | \n每次处理的数据条数 | \nNone（由框架自动决定） | \n64 | \n
concurrency | \n同时运行的实例数 | \nNone（由框架自动决定） | \n8 | \n
use_process | \n是否使用进程隔离（CPU 密集时建议开启） | \nFalse（使用线程） | \nTrue | \n
支持本地文件/挂载目录文件/BOS/HTTP等多种方式:
\n\n1 samples = {\n2 \"image\": [\n3 \"file:///local/sample_1.jpg\", #本地数据\n4 \"file:///mnt/pfs/sample_2.jpg\", #pfs挂载点内数据\n5 \"file:///mnt/bos/sample_3.jpg\", #bos挂载点内数据\n6 \"bos://bucket/path/sample_4.jpg\" #bos直接抓取数据\n7 \"http://url/sample_5.jpg\" #http抓取数据\n8 ]\n9 }若使用BOS直接抓取数据的方式, 需要在数据处理代码中注入BOS相关环境变量, 如下：
\n\n1os.environ[\"BOS_ENDPOINT\"] = \"http://bj.bcebos.com\" #endpoint\n2os.environ[\"BOS_ACCESS_KEY_ID\"] = \"\" \n3os.environ[\"BOS_SECRET_ACCESS_KEY\"] = \"\"\n4os.environ[\"BOS_REGION\"] = \"bj\"这里我们以具身数据格式转换为例，指导用户基于百舸平台的数据处理算子，通过开发机/分布式训练任务，实现 LerobotV2.1 数据集向 V3.0 版本的格式转换。准备工作
\n数据准备
\n我们提供了打包的数据集，点击下载。 原始数据集分布为:
\n1import json\n2import os\n3import tarfile\n4import daft\n5from daft import col\n6\n7from daft.aihc.common.udf import aihc_udf\n8from daft.aihc.functions.process.tar_extractor_udf import TarUncompress\n9from daft.aihc.functions.process.tar_extractor_udf import discover_datasets\n10from daft.aihc.functions.process.tar_extractor_udf import create_tasks_from_datasets\n11\n12TAR_EXTENSIONS = (\".tar\", \".tar.gz\", \".tgz\", \".tar.bz2\", \".tbz2\", \".tar.xz\", \".txz\", \".tar.zst\")\n13\n14\n15def is_tar_file(filepath: str) -> bool:\n16 lower = filepath.lower()\n17 if not any(lower.endswith(ext) for ext in TAR_EXTENSIONS):\n18 return False\n19 return tarfile.is_tarfile(filepath)\n20\n21\n22def find_tar_files(directory: str) -> list[str]:\n23 tar_files = []\n24 for root, _dirs, files in os.walk(directory):\n25 for f in files:\n26 full = os.path.join(root, f)\n27 if is_tar_file(full):\n28 tar_files.append(full)\n29 return tar_files\n30\n31\n32def safe_members(tf: tarfile.TarFile) -> list[tarfile.TarInfo]:\n33 return [m for m in tf.getmembers() if not m.name.startswith(\"/\") and \"..\" not in m.name]\n34\n35\n36def extract_recursive(tar_path: str, output_dir: str) -> list[str]:\n37 all_extracted = []\n38\n39 # 第一次解压\n40 with tarfile.open(tar_path) as tf:\n41 members = safe_members(tf)\n42 tf.extractall(path=output_dir, members=members)\n43 all_extracted.extend([os.path.join(output_dir, m.name) for m in members])\n44\n45 # 持续扫描并解压新出现的 tar 文件\n46 pending = find_tar_files(output_dir)\n47 processed = set()\n48\n49 while pending:\n50 current = pending.pop(0)\n51 if current in processed:\n52 continue\n53 processed.add(current)\n54\n55 extract_dir = os.path.dirname(current)\n56 with tarfile.open(current) as tf:\n57 members = safe_members(tf)\n58 tf.extractall(path=extract_dir, members=members)\n59 all_extracted.extend([os.path.join(extract_dir, m.name) for m in members])\n60\n61 # 删除已解压的内层 tar 包（如需保留，注释掉下面这行）\n62 # os.remove(current)\n63\n64 new_tars = find_tar_files(output_dir)\n65 for t in new_tars:\n66 if t not in processed and t not in pending:\n67 pending.append(t)\n68\n69 return all_extracted\n70\n71\n72class RecursiveTarUncompress(TarUncompress):\n73 \"\"\"递归解压多层嵌套 tar 包的 UDF。\"\"\"\n74\n75 def __call__(self, input_path, output_path):\n76 input_list = input_path.to_pylist()\n77 output_list = output_path.to_pylist()\n78\n79 results = []\n80 for inp, outp in zip(input_list, output_list):\n81 os.makedirs(outp, exist_ok=True)\n82 all_files = extract_recursive(inp, outp)\n83 # 返回 JSON 字符串，与父类 TarUncompress 的 __return_column_type__(String) 一致\n84 results.append(json.dumps({\n85 \"status\": \"success\",\n86 \"input\": inp,\n87 \"output\": outp,\n88 \"extracted_files\": all_files,\n89 \"extracted_count\": len(all_files),\n90 }))\n91 return results\n92\n93\n94if __name__ == \"__main__\":\n95 if os.getenv(\"DAFT_RUNNER\", \"native\") == \"ray\":\n96 import ray\n97 ray.init(dashboard_host=\"0.0.0.0\", ignore_reinit_error=True)\n98 daft.set_runner_ray()\n99 daft.set_execution_config(actor_udf_ready_timeout=6000, min_cpu_per_task=0)\n100\n101 base_path = \"/mnt/pfs/xx\" # 【用户需替换】实际存放tar包的目录\n102\n103 # 直接扫描 base_path 下的 tar 文件\n104 tar_files = find_tar_files(base_path)\n105 if not tar_files:\n106 raise ValueError(f\"未在 {base_path} 下发现任何 tar 文件，请检查路径\")\n107\n108 # 去除所有 tar 后缀作为输出目录，如 test_dataset.tar.gz -> test_dataset\n109 def strip_tar_ext(path: str) -> str:\n110 while True:\n111 base, ext = os.path.splitext(path)\n112 if ext.lower() in (\".gz\", \".bz2\", \".xz\", \".zst\", \".tar\", \".tgz\", \".tbz2\", \".txz\"):\n113 path = base\n114 else:\n115 break\n116 return path\n117\n118 tasks = {\n119 \"input_path\": tar_files,\n120 \"output_path\": [strip_tar_ext(t) for t in tar_files],\n121 }\n122\n123 num_tasks = len(tasks[\"input_path\"])\n124 concurrency = max(num_tasks, 1)\n125\n126 ds = daft.from_pydict(tasks)\n127 ds = ds.into_partitions(num_tasks)\n128\n129 ds = ds.with_column(\n130 \"result\",\n131 aihc_udf(\n132 RecursiveTarUncompress,\n133 construct_args={},\n134 num_cpus=1,\n135 num_gpus=0,\n136 batch_size=1,\n137 concurrency=concurrency,\n138 use_process=True,\n139 )(col(\"input_path\"), col(\"output_path\")),\n140 )\n141 ds.show()1import os\n2import daft\n3from daft import col\n4\n5from daft.aihc.common.udf import aihc_udf\n6from daft.aihc.functions.embodied.convert_dataset_v21_to_v30_udf import ConvertDatasetV21ToV30\n7\n8if __name__ == \"__main__\":\n9 if os.getenv(\"DAFT_RUNNER\", \"native\") == \"ray\":\n10 import ray\n11 ray.init(dashboard_host=\"0.0.0.0\", ignore_reinit_error=True)\n12 daft.set_runner_ray()\n13 daft.set_execution_config(actor_udf_ready_timeout=6000, min_cpu_per_task=0)\n14\n15 tasks = {\n16 \"input_repoid\": [\n17 \"lerobot/aloha_sim_insertion_human/\", \n18 \"lerobot/pusht/\",\n19 \"lerobot/pusht2/\" \n20 ],\n21 \"input_path\": [\"/mnt/pfs/xx/test_dataset/dataset/\"] * 3,\n22 \"output_path\": [\"/mnt/pfs/xx/lerobotv3\"] * 3 # 【用户需替换】格式转换后的输出目录\n23 }\n24 num_datasets = len(tasks[\"input_repoid\"])\n25 ds = daft.from_pydict(tasks).into_partitions(num_datasets)\n26\n27 ds = ds.with_column(\n28 \"convert_result\",\n29 aihc_udf(\n30 ConvertDatasetV21ToV30,\n31 construct_args={\n32 },\n33 num_cpus=0.1,\n34 batch_size=1,\n35 concurrency=num_datasets,\n36 use_process=True\n37 )(col(\"input_repoid\"), col(\"input_path\"), col(\"output_path\")),\n38 )\n39 ds.show()整体处理流程:
\n运行pipiline.py
1import json\n2import os\n3import tarfile\n4import daft\n5from daft import col\n6\n7from daft.aihc.common.udf import aihc_udf\n8from daft.aihc.functions.process.tar_extractor_udf import TarUncompress\n9from daft.aihc.functions.embodied.convert_dataset_v21_to_v30_udf import ConvertDatasetV21ToV30\n10\n11# ====================== 直接复用 data_convert.py 全部代码 ======================\n12TAR_EXTENSIONS = (\".tar\", \".tar.gz\", \".tgz\", \".tar.bz2\", \".tbz2\", \".tar.xz\", \".txz\", \".tar.zst\")\n13\n14def is_tar_file(filepath: str) -> bool:\n15 lower = filepath.lower()\n16 if not any(lower.endswith(ext) for ext in TAR_EXTENSIONS):\n17 return False\n18 return tarfile.is_tarfile(filepath)\n19\n20def find_tar_files(directory: str) -> list[str]:\n21 tar_files = []\n22 for root, _dirs, files in os.walk(directory):\n23 for f in files:\n24 full = os.path.join(root, f)\n25 if is_tar_file(full):\n26 tar_files.append(full)\n27 return tar_files\n28\n29def safe_members(tf: tarfile.TarFile) -> list[tarfile.TarInfo]:\n30 return [m for m in tf.getmembers() if not m.name.startswith(\"/\") and \"..\" not in m.name]\n31\n32def extract_recursive(tar_path: str, output_dir: str) -> list[str]:\n33 all_extracted = []\n34 with tarfile.open(tar_path) as tf:\n35 members = safe_members(tf)\n36 tf.extractall(path=output_dir, members=members)\n37 all_extracted.extend([os.path.join(output_dir, m.name) for m in members])\n38\n39 pending = find_tar_files(output_dir)\n40 processed = set()\n41\n42 while pending:\n43 current = pending.pop(0)\n44 if current in processed:\n45 continue\n46 processed.add(current)\n47\n48 extract_dir = os.path.dirname(current)\n49 with tarfile.open(current) as tf:\n50 members = safe_members(tf)\n51 tf.extractall(path=extract_dir, members=members)\n52 all_extracted.extend([os.path.join(extract_dir, m.name) for m in members])\n53\n54 new_tars = find_tar_files(output_dir)\n55 for t in new_tars:\n56 if t not in processed and t not in pending:\n57 pending.append(t)\n58\n59 return all_extracted\n60\n61class RecursiveTarUncompress(TarUncompress):\n62 \"\"\"递归解压多层嵌套 tar 包的 UDF。\"\"\"\n63 def __call__(self, input_path, output_path):\n64 input_list = input_path.to_pylist()\n65 output_list = output_path.to_pylist()\n66 results = []\n67 for inp, outp in zip(input_list, output_list):\n68 os.makedirs(outp, exist_ok=True)\n69 all_files = extract_recursive(inp, outp)\n70 results.append(json.dumps({\n71 \"status\": \"success\",\n72 \"input\": inp,\n73 \"output\": outp,\n74 \"extracted_files\": all_files,\n75 \"extracted_count\": len(all_files),\n76 }))\n77 return results\n78\n79# ====================== 主 pipeline 工作流 ======================\n80if __name__ == \"__main__\":\n81 # 统一环境初始化\n82 if os.getenv(\"DAFT_RUNNER\", \"native\") == \"ray\":\n83 import ray\n84 ray.init(dashboard_host=\"0.0.0.0\", ignore_reinit_error=True)\n85 daft.set_runner_ray()\n86 daft.set_execution_config(actor_udf_ready_timeout=6000, min_cpu_per_task=0)\n87\n88 base_path = \"/mnt/pfs/xx\"\n89 convert_output_root = \"/mnt/pfs/xx/lerobotv3\"\n90\n91 # ====================== 步骤1：执行解压（原 data_convert.py） ======================\n92 print(\"=== 步骤1：开始递归解压 tar 文件 ===\")\n93 tar_files = find_tar_files(base_path)\n94 if not tar_files:\n95 raise ValueError(f\"未在 {base_path} 下发现任何 tar 文件\")\n96\n97 def strip_tar_ext(path: str) -> str:\n98 while True:\n99 base, ext = os.path.splitext(path)\n100 if ext.lower() in (\".gz\", \".bz2\", \".xz\", \".zst\", \".tar\", \".tgz\", \".tbz2\", \".txz\"):\n101 path = base\n102 else:\n103 break\n104 return path\n105\n106 tasks_extract = {\n107 \"input_path\": tar_files,\n108 \"output_path\": [strip_tar_ext(t) for t in tar_files],\n109 }\n110 num_tasks = len(tasks_extract[\"input_path\"])\n111 concurrency = max(num_tasks, 1)\n112\n113 ds = daft.from_pydict(tasks_extract)\n114 ds = ds.into_partitions(num_tasks)\n115\n116 ds = ds.with_column(\n117 \"result\",\n118 aihc_udf(\n119 RecursiveTarUncompress,\n120 construct_args={},\n121 num_cpus=1,\n122 num_gpus=0,\n123 batch_size=1,\n124 concurrency=concurrency,\n125 use_process=True,\n126 )(col(\"input_path\"), col(\"output_path\")),\n127 )\n128 df_extract = ds.collect()\n129 print(\"=== 解压完成 ===\")\n130\n131 # ====================== 步骤2：执行 v21 → v30 转换（原 lerobotv21-30.py） ======================\n132 print(\"=== 步骤2：开始格式转换 ===\")\n133 tasks_convert = {\n134 \"input_repoid\": [\n135 \"lerobot/aloha_sim_insertion_human/\",\n136 \"lerobot/pusht/\",\n137 \"lerobot/pusht2/\"\n138 ],\n139 \"input_path\": [\"/mnt/pfs/xx/test_dataset/dataset/\"] * 3,\n140 \"output_path\": [convert_output_root] * 3\n141 }\n142 num_datasets = len(tasks_convert[\"input_repoid\"])\n143\n144 ds_convert = daft.from_pydict(tasks_convert).into_partitions(num_datasets)\n145\n146 ds_convert = ds_convert.with_column(\n147 \"convert_result\",\n148 aihc_udf(\n149 ConvertDatasetV21ToV30,\n150 construct_args={},\n151 num_cpus=0.1,\n152 batch_size=1,\n153 concurrency=num_datasets,\n154 use_process=True\n155 )(col(\"input_repoid\"), col(\"input_path\"), col(\"output_path\")),\n156 )\n157 ds_convert.show()\n158 print(\"=== 全部 pipeline 执行完成 ===\")在分布式训练模块中，基于上述开发的算子代码，使用 Ray 计算引擎进行分布式处理数据。
\n\n\n也可以直接使用开发机进行单机的数据处理
\n
Rayjob的提交可参考 快速提交Ray任务，关键参数如下：
\nDAFT_RUNNER=ray python /mnt/pfs/xx/pipeline.py，其中pipeline.py是上面开发的算子代码。提交任务即可进行数据处理，可通过 submitter 节点的日志查询数据处理的进度
\n