{"componentChunkName":"component---src-templates-acg-portal-new-template-tsx","path":"/Vmuaxg4b8","result":{"data":{"markdownRemark":{"html":"


\n在进行模型开发、训练、推理之前，一般需要准备好指定的数据集。自定义数据集支持将对象存储（BOS）中的 Lance 格式目录注册为数据集，提供数据集详情、版本列表、文件管理、数据详情、SQL 查询、转储任务等管理能力，支持图片、音频、视频等多模态二进制列的在线预览。

\n

创建数据集

\n

在自定义数据集页签下单击【创建数据集】。

\n

\"截屏

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
字段说明
名称必填，数据集的名称。支持小写字母、数字以及 -，且开头必须是小写字母，结尾必须是小写字母或数字，长度 1~50
存储类型必选，Lance 数据集选择对象存储BOS
数据来源必选，选择 Lance 数据集所在的 BOS 存储桶；桶不在列表中时可单击【手动输入】
导入格式必选，Lance 数据集选择文件夹。文件夹导入的存储路径可被挂载在容器中，常用于训练、推理或开发机的数据卷
数据格式必选，Lance 数据集选择 Lance。选择自定义则按通用文件数据集处理，不解析表结构
描述选填，对数据集的描述信息，支持 0~1024 字符
所有者必选，对数据集有管理权限（编辑、删除等），创建时可修改
使用权限必选，有三种数据权限可选：公开可读、仅所有者可读写、指定范围可用。
版本必选，系统自动生成，首个版本为 v1
版本描述选填，对版本的描述，支持 0~1024 字符
路径必选，数据集在存储中对应的路径，如 /lance-xxxx.lance
默认挂载路径必选，数据集挂载到负载上时的挂载路径，在挂载时可以修改
\n

填写完成后单击【确定】进行提交。

\n

编辑数据集

\n

在数据集列表中找到目标数据集，在操作列选择编辑，进入【更新数据集】页面。

\n

\"截屏

\n

可编辑项：名称、描述、所有者、使用权限。

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
字段说明
名称可修改，命名规则同创建
存储类型 / 数据来源 / 导入格式 / 数据格式创建后锁定，不可修改；如需指向新的存储路径，请重建数据集
描述可修改，支持 0~1024 字符
所有者可修改
使用权限可修改
\n

修改完成后单击【确定】生效。

\n

删除数据集

\n

在数据集列表中找到目标数据集，在操作列选择删除，按提示确认即可。

\n

\"截屏

\n
\n

说明：删除数据集时会删除数据集下的所有版本信息，但存储中的数据不会被删除，BOS 路径下的 Lance 文件予以保留。如需彻底清理，请前往 BOS 控制台手动删除对应目录。

\n
\n

数据集详情

\n

进入数据集后默认展示【数据集详情】页签，包含基本信息、权限配置、版本配置三部分。

\n

\"截屏

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
分组字段说明
基本信息名称 / ID数据集名称与系统分配的唯一 ID，API 调用时使用 ID
基本信息存储实例数据集所在的 BOS 存储桶
基本信息存储类型对象存储BOS
基本信息导入格式文件夹
基本信息创建时间 / 更新时间数据集的创建与最近更新时间
基本信息描述数据集描述，未填写显示 -
权限配置所有者数据集所有者
权限配置使用权限公开可读 / 仅所有者可读写 / 指定范围可用
版本配置版本当前版本号，如 v1
版本配置存储路径版本对应的 BOS 路径
版本配置默认挂载路径挂载到负载时的默认路径
版本配置描述 / Fileset版本描述与文件集信息，未填写显示 -
\n

版本列表

\n

【版本列表】页签展示该数据集的全部版本，包含版本号、存储路径、默认挂载路径、创建时间，以及【导入数据】操作入口。

\n

\"截屏

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
列说明
版本号版本标识，如 v1，单击可查看版本详情
存储路径该版本对应的 BOS 路径
默认挂载路径该版本挂载到负载时的默认路径
创建时间版本创建时间
操作-导入数据将其他数据集的数据导入
\n

文件管理

\n

【文件管理】页签以浏览器方式展示 BOS 路径内的文件与目录，支持按文件名搜索、分页浏览。

\n

\"截屏

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
内容说明
存储路径当前浏览的 BOS 路径
_transactions/Lance 写入事务记录目录
_versions/Lance 版本清单目录，含 manifest 与最新版本指针文件
data/Lance 数据文件目录（*.lance）
README.md说明文档，单击可在线查看
名称 / 大小 / 修改时间文件与目录的基本属性；目录的大小与修改时间显示为 - / --
\n

数据详情

\n

【数据详情】页签以表格形式展示 Lance 表内容，支持分页浏览、多模态列在线预览。

\n

\"截屏

\n

表格与分页

\n\n

各模态列的实际渲染行为

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
模态列表页表现
image前端可直接展示；点击放大再取原图。缩略图生成失败时显示图片占位图标；图片源文件超过 32MB 时不返回缩略图
video内联首帧封面（字段与格式同图片）。视频源文件超过 32MB 时不生成首帧封面预览图
audio仅显示音频图标占位，不读取内容；点击播放
\n

列模态与预览

\n

二进制列能否预览，取决于该列是否带有模态标注。单击列头右侧的 ⋮ 菜单，选择【修改模态】，可将列标注为图像、音频、视频、文本，或【重置】恢复未标注状态。控制台修改模态会写回字段元数据，即时生效。

\n

推荐在写入时即声明（见「写入规范」一节），注册后打开即预览，无需手动标注。

\n
\n

说明：若二进制列未声明模态且未手动标注，单元格显示为占位图标，这是未配置的表现，并非数据损坏。可随时通过【修改模态】补标，即时生效。

\n
\n

写入规范：模态元数据声明

\n

建表 schema 时给每个字段写 metadata，平台在注册/扫描时自动识别模态。模态取值支持 image / audio / video / text 四种。

\n\n
\n
\n
\n Python\n \n
\n
\n 
1import pyarrow as pa\n2\n3schema = pa.schema([\n4    # 图片列：large_binary + blob 编码 + 模态声明\n5    pa.field(\"image\", pa.large_binary(), metadata={\n6        \"bos-dataset-field:modality\": \"image\",\n7        \"bos-dataset-field:mimetype\": \"image/jpeg\",  # RFC 类型，照实填写\n8        \"bos-dataset-field:format\": \"jpg\",           # 封装格式，照实填写\n9        \"lance-encoding:blob\": \"true\"}),             # 大对象用 blob 编码\n10    # 音频列\n11    pa.field(\"audio\", pa.large_binary(), metadata={\n12        \"bos-dataset-field:modality\": \"audio\",\n13        \"bos-dataset-field:mimetype\": \"audio/wav\",\n14        \"bos-dataset-field:format\": \"wav\",\n15        \"lance-encoding:blob\": \"true\"}),\n16    # 视频列\n17    pa.field(\"video\", pa.large_binary(), metadata={\n18        \"bos-dataset-field:modality\": \"video\",\n19        \"bos-dataset-field:mimetype\": \"video/mp4\",\n20        \"bos-dataset-field:format\": \"mp4\",\n21        \"lance-encoding:blob\": \"true\"}),\n22    # 文本列\n23    pa.field(\"caption\", pa.string(),\n24             metadata={\"bos-dataset-field:modality\": \"text\"}),\n25    # 普通元数据列可不声明；未知键会被忽略，不影响读写\n26    pa.field(\"label\", pa.string()),\n27])\n28\n29table = pa.Table.from_pylist([...], schema=schema)  # 数据按 schema 顺序放进\n30lance.write_dataset(table, uri, storage_options=so)
\n
\n
\n
\n \n

配置说明：

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
键说明
bos-dataset-field:modality多媒体预览核心属性，支持 image / audio / video / text；仅 BINARY（及 large_binary）类型字段配置预览有效。用 bos- 前缀
bos-dataset-field:mimetypeRFC media type（如 image/jpeg）；未声明 modality 时可由它推导
bos-dataset-field:format媒体封装格式，照实填写，如 jpg、wav、mp3、mp4
lance-encoding:blob值为 true 时大对象采用 blob 编码存储，大小可零成本获取且支持按需随机读
\n

SQL 查询

\n

【SQL 查询】页签提供在线 SQL 编辑器，可直接对数据集执行只读查询，用于数据探查与抽样验证。

\n

\"截屏

\n
    \n
  1. 在编辑器中编写 SQL，表名固定为 dataset，编辑器默认填入示例：
    2. \n
\n\n
\n
\n
\n SQL\n \n
\n
\n 
1SELECT * FROM dataset LIMIT 10;
\n
\n
\n
\n \n
    \n
  1. 常用查询示例：
    2. \n
\n\n
\n
\n
\n SQL\n \n
\n
\n 
1-- 按标签统计行数\n2SELECT label, COUNT(*) AS cnt FROM dataset GROUP BY label;\n3-- 查看训练/测试切分比例\n4SELECT split, COUNT(*) AS cnt FROM dataset GROUP BY split;
\n
\n
\n
\n \n
    \n
  1. 单击【执行查询】运行，下方展示查询结果。
    2. \n
\n
\n

说明：SQL 查询仅支持只读单表（SELECT），表名必须是固定关键字 dataset，写成其它表名、多语句、JOIN 或写操作会被拒绝；二进制列在结果中以占位形式展示，如需查看媒体内容请使用【数据详情】预览。

\n
\n

常见问题

\n

Q1：二进制列显示为占位图标，是数据损坏吗？

\n

不是。这是模态未配置的表现，并非数据损坏。通过列头 ⋮ 菜单【修改模态】补标（图像/音频/视频），即时生效；或在写入时按「写入规范」声明元数据，注册后自动预览。

\n

Q2：SQL 查询报错表不存在？

\n

SQL 中的表名必须是固定关键字 dataset，代表当前数据集。

","fields":{"slug":"Vmuaxg4b8","title":"自定义 Lance 格式数据集","date":"2026-09-21","extractedHeadings":[]},"headings":[{"value":"创建数据集","depth":2},{"value":"编辑数据集","depth":2},{"value":"删除数据集","depth":2},{"value":"数据集详情","depth":2},{"value":"版本列表","depth":2},{"value":"文件管理","depth":2},{"value":"数据详情","depth":2},{"value":"表格与分页","depth":3},{"value":"各模态列的实际渲染行为","depth":3},{"value":"列模态与预览","depth":3},{"value":"写入规范：模态元数据声明","depth":2},{"value":"SQL 查询","depth":2},{"value":"常见问题","depth":2}]}},"pageContext":{"isCreatedByStatefulCreatePages":false,"slug":"Vmuaxg4b8","prev":{"id":"Pmlhghmos","name":"公共数据集","path":"Pmlhghmos","filePath":"操作指南/数据集管理/公共数据集/RoboMIND2.0.md","seo":null,"parentIds":["ilib2qygp","qm5mbqn8c","xmfv1ai6k"],"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null},{"id":"qm5mbqn8c","documentId":"9a62072c-8cce-4abb-9f9d-f3cece57360c","name":"数据集管理","repoName":"AIHC","filePath":"操作指南/数据集管理","disabled":false,"path":"qm5mbqn8c","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":{"title":null,"keywords":null,"description":null,"serviceType":null},"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null},{"id":"xmfv1ai6k","documentId":"ebcddfd9-e3b4-4c8b-82df-205604a2fe14","name":"公共数据集","repoName":"AIHC","filePath":"操作指南/数据集管理/公共数据集","disabled":false,"path":"xmfv1ai6k","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null}]},"next":{"id":"xm56m9huq","name":"模型管理","path":"xm56m9huq","filePath":"操作指南/AI数据管理/模型管理.md","seo":{"title":"","keywords":"","description":"","serviceType":null},"parentIds":["ilib2qygp","Qm5mbqymx"],"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null},{"id":"Qm5mbqymx","documentId":"185b23d9-9175-41ed-8026-7619fd9e402b","name":"模型管理","repoName":"AIHC","filePath":"操作指南/模型管理","disabled":false,"path":"Qm5mbqymx","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null}]},"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null},{"id":"qm5mbqn8c","documentId":"9a62072c-8cce-4abb-9f9d-f3cece57360c","name":"数据集管理","repoName":"AIHC","filePath":"操作指南/数据集管理","disabled":false,"path":"qm5mbqn8c","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":{"title":null,"keywords":null,"description":null,"serviceType":null},"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null,"solutionTag":null,"solutionColor":null}],"specificSeo":null}}}