{"componentChunkName":"component---src-templates-acg-portal-new-template-tsx","path":"/Om1kotkki","result":{"data":{"markdownRemark":{"html":"

推理服务性能压测

\n

概述

\n

本文档介绍如何在百舸平台对已部署的在线推理服务进行性能压测，包括创建压测任务、管理压测任务、查看压测详情与结果报表，以及实时监控压测过程中的性能指标变化趋势。

\n

性能压测功能面向在线推理服务上线前的性能评估场景，通过模拟不同负载下的并发请求，帮助用户发现服务性能瓶颈、评估服务承载能力并保障 SLA。当前版本仅支持对标准服务中的 LLM 和 VLM 模型进行性能压测。

\n

前提条件

\n\n

创建压测任务

\n

步骤 1：进入性能压测 Tab

\n

登录百舸控制台，在导航栏依次选择 大规模训练与推理 -> 在线服务部署，进入「在线服务部署」页面。在顶部切换栏选择在线服务。

\n

在服务列表中找到目标标准服务（服务状态须为「运行中」），点击该服务的服务名称，进入服务详情页。在服务详情页顶部 Tab 栏中点击 【性能压测】 Tab，进入压测任务列表。

\n

\"标准服务列表页.png\"\n\"压测功能页.png\"

\n
\n

说明： 仅「运行中」状态的服务支持创建压测任务。若当前无可用服务，需先通过 【部署服务】 完成服务创建，并等待其进入运行中状态。

\n
\n
\n

步骤 2：创建压测任务

\n

进入「性能压测」Tab 后，点击 【创建压测任务】 按钮，弹出创建表单。

\n
\n

说明： 若目标服务不处于运行中状态，【创建压测任务】 按钮置灰不可点击，鼠标悬停时提示\"仅支持对运行中的服务进行压测\"。

\n
\n
\n

步骤 3：填写基本信息

\n

在创建表单的「基本信息」区域，依次填写以下字段：

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
参数必填说明
压测任务名称是支持小写字母、数字及 -，须以小写字母开头，以小写字母或数字结尾；同一服务下不可重名
资源规格是选择资源池/队列（支持跨资源池），填写所需 CPU（核数）与内存（GB）；该资源在资源统计视图中归属「训练任务」类型
模型类型是可选 LLM或 VLM；不同类型对应不同的预置数据集和压测方法
模型 ID是目前仅支持从魔搭 加载 Tokenizer，最多 200 字符，支持大小写字母、数字及特殊字符
模型名称是即压测请求参数中的 model name 字段值，最多 100 字符，支持大小写字母、数字及特殊字符
\n
\n

步骤 4：压测配置

\n

在「压测配置」区域的「压测地址」部分，依次完成以下配置：

\n
    \n
  1. 端口号：若目标服务配置了多个端口，在下拉列表中选择需要压测的端口号。
    2. \n
  2. \n

    URL 类型：选择内网地址或公网地址。

    \n\n
    3. \n
  3. 接口：选择压测接口，支持 /v1/chat/completions（Chat 接口）和 /v1/completions（Completions 接口）。
    4. \n
\n
\n

说明： 与推理服务所在资源池同一个vpc下的资源池部署压测任务可以选择外网和内网。与推理服务所在资源池不在同一个vpc下的资源池部署压测任务只能选择外网

\n
\n

同vpc\n\"同vpc.png\"

\n

不同vpc\n\"不同vpc.png\"

\n
\n

步骤 5：配置压测数据集

\n

在「压测数据集」区域选择数据集类型（必填，默认「公共数据集」）：

\n

公共数据集：

\n\n

自定义数据集（仅 LLM 支持）：

\n
    \n
  1. 选择存储类型：BOS。
    2. \n
  2. 选择 Bucket，填写具体文件的存储路径。
    3. \n
  3. \n

    选择数据集格式：

    \n\n
    4. \n
\n
\n

说明： VLM 模型不支持自定义数据集，仅可使用平台预置数据集。

\n
\n
\n

步骤 6：配置其他压测参数

\n

继续填写以下压测参数：

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
参数必填说明
API Key否压测调用服务的鉴权 Token；服务已开启平台鉴权时无需填写；使用云原生网关接入时会自动填入网关 Token
上下文长度否控制输入/输出 Token 的上下限，填写最小/最大输入输出长度，范围 1–10,000,000
单个请求样本数是每轮请求携带的样本数；总请求样本数 = 单个请求样本数 × 并发数
起始并发数是压测起始阶段的并发请求数，取值范围 1–50
最大并发数是压测允许达到的最大并发请求数，取值范围 1–50
每阶段增加并发数是每个压测阶段递增的并发数，取值范围 1–50
Header否自定义 HTTP 请求头，最多可添加 20 个
\n
\n

步骤 7：提交创建

\n

确认所有参数填写无误后，点击 【确认】 按钮，完成压测任务创建。任务创建成功后，将出现在「性能压测」Tab 的任务列表中，初始状态为「创建中」或「排队中」。

\n
\n

管理压测任务

\n

查看压测任务列表

\n

在导航栏依次点击 大规模训练与推理 -> 在线服务部署，进入标准服务列表，点击目标服务的服务名称，进入服务详情页，点击顶部 Tab 栏中的 【性能压测】 Tab。

\n

页面展示压测任务列表，包含以下字段：

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
字段说明
压测任务名称/ID任务标识，同一服务内唯一
状态排队中 / 创建中 / 创建失败 / 压测中 / 停止中 / 已停止 / 已完成 / 失败
模型类型LLM 或 VLM
模型 ID加载 Tokenizer 所使用的模型 ID
资源池名称/ID运行该压测任务所使用的资源池
队列名称/ID所属资源队列
资源规格CPU/内存规格
创建时间任务创建时间
操作复制 / 停止（压测中状态）/ 删除（终态）
\n

\"压测列表.png\"

\n
\n

复制压测任务

\n

在压测任务列表中，找到需要复制的目标任务，点击操作列中的 【复制】。

\n

页面跳转至创建压测任务表单，并自动填充被复制任务的全部参数（任务名称、资源规格、模型类型、模型 ID、压测配置等）。按需修改参数后，点击 【提交】 即完成新任务的创建。

\n

\"复制压测.png\"

\n
\n

停止压测任务

\n

在压测任务列表中，找到状态为「压测中」的任务，点击操作列中的 【停止】。

\n

弹出二次确认弹窗，确认后任务状态切换为「停止中」，稍后变更为「已停止」，压测工具 Pod 随之释放资源。

\n
注意：停止操作不可逆，当前压测进度将中止，但已产出的压测结果数据不会被删除。
\n

\"停止压测确认弹窗.png\"

\n
\n

删除压测任务

\n

终态任务（创建失败 / 失败 / 已停止 / 已完成）： 在对应任务行点击操作列中的 【删除】，弹出二次确认弹窗，确认后完成删除。

\n

压测中状态任务： 须先执行步骤 3「停止」操作，待任务进入「已停止」终态后，再执行删除。

\n

删除服务时的联动说明： 若服务下仍存在执行中的压测任务，删除服务时会弹窗提示\"有压测任务正在执行，删除后将停止压测并删除任务和测试结果\"，确认后平台同步停止并删除所有关联压测任务。

\n
注意：压测任务删除后结果数据不可恢复，请在删除前确认已记录或保存所需压测结果。
\n

\"删除压测确认弹窗.png\"

\n
\n

查看压测任务详情

\n

详情面板默认展示基本信息区块，内容分三个部分：

\n\n

\"操作中.png\"

\n
\n

查看压测结果

\n

点击压测完成的任务详情可以查看压测结果，表格按不同并发数阶段分行展示以下性能指标：

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
指标列名说明
Average input tokens per request平均输入 token 数/请求
Average inter-token latency平均 token 间延迟（秒）
Average latency平均延迟（秒）
Average output tokens per request平均输出 token 数/请求
Average time per output token平均每个输出 token 耗时（秒）
Average time to first token首 token 平均响应时间（秒）
Failed requests平失败请求数
Number of concurrency并发数
Output token throughput输出 token 吞吐量（tok/s）
Request throughput请求吞吐量（req/s）
Succeed requests成功请求数
Time taken for tests测试总耗时（秒）
Total requests总请求数
Total token throughput总 token 吞吐量（tok/s）｜
\n
\n

下载压测报告

\n

压测结果已存储在平台提供公共BOS中，您可以在压测任务详情中查看BOS地址，下载压测报告文件。路径以 bos:// 开头。点击路径右侧的复制图标，可将完整 BOS 路径复制到剪贴板。\n\"压测报告下载地址.png\"

","fields":{"slug":"Om1kotkki","title":"服务性能压测","date":"2026-05-09","extractedHeadings":[]},"headings":[{"value":"推理服务性能压测","depth":1},{"value":"概述","depth":2},{"value":"前提条件","depth":2},{"value":"创建压测任务","depth":2},{"value":"步骤 1：进入性能压测 Tab","depth":3},{"value":"步骤 2：创建压测任务","depth":3},{"value":"步骤 3：填写基本信息","depth":3},{"value":"步骤 4：压测配置","depth":3},{"value":"步骤 5：配置压测数据集","depth":3},{"value":"步骤 6：配置其他压测参数","depth":3},{"value":"步骤 7：提交创建","depth":3},{"value":"管理压测任务","depth":2},{"value":"查看压测任务列表","depth":3},{"value":"复制压测任务","depth":3},{"value":"停止压测任务","depth":3},{"value":"删除压测任务","depth":3},{"value":"查看压测任务详情","depth":3},{"value":"查看压测结果","depth":2},{"value":"下载压测报告","depth":2}]}},"pageContext":{"isCreatedByStatefulCreatePages":false,"slug":"Om1kotkki","prev":{"id":"Ilwyd20cv","name":"推理参数说明","path":"Ilwyd20cv","filePath":"操作指南/在线服务部署/推理参数说明.md","seo":null,"parentIds":["ilib2qygp","Olkt21sv7"],"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null},{"id":"Olkt21sv7","documentId":"af2e9368-6400-4d7e-925f-fa5f2ca2e322","name":"在线服务部署","repoName":"AIHC","filePath":"操作指南/在线服务部署","disabled":false,"path":"Olkt21sv7","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null}]},"next":{"id":"Hmovavu93","name":"在线调试","path":"Hmovavu93","filePath":"操作指南/在线服务部署/在线调试.md","seo":null,"parentIds":["ilib2qygp","Olkt21sv7"],"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null},{"id":"Olkt21sv7","documentId":"af2e9368-6400-4d7e-925f-fa5f2ca2e322","name":"在线服务部署","repoName":"AIHC","filePath":"操作指南/在线服务部署","disabled":false,"path":"Olkt21sv7","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null}]},"parents":[{"id":"ilib2qygp","documentId":"bfa43a8b-968a-41a1-8c9d-906507eeaed9","name":"操作指南","repoName":"AIHC","filePath":"操作指南","disabled":false,"path":"ilib2qygp","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null},{"id":"Olkt21sv7","documentId":"af2e9368-6400-4d7e-925f-fa5f2ca2e322","name":"在线服务部署","repoName":"AIHC","filePath":"操作指南/在线服务部署","disabled":false,"path":"Olkt21sv7","lastMergeTime":null,"isApiDoc":null,"httpMethod":null,"seo":null,"sourceOrgName":null,"sourceRepoName":null,"sourceDocumentId":null}],"specificSeo":null}}}