{"componentChunkName":"component---src-templates-acg-portal-new-template-tsx","path":"/5kuhwytqo","result":{"data":{"markdownRemark":{"html":"

1、概述

\n

本文介绍，如何使用NVIDIA官方的L4T Base镜像搭配EasyEdge SDK实现云边协同模型下发。

\n

2、生成模型包

\n
    \n
  1. 创建run.sh，该文件为容器的启动文件
    2. \n
\n\n
\n
\n
\n Plain Text\n \n
\n
\n 
1#SDK序列号，需要在线申请，此处为测试序列号\n2license_key=E60A-5124-5ACD-3C9B\n3#curr_dir为/sdk，后续在BIE推断服务配置当中用到，作为容器内的工作目录\n4curr_dir=/sdk\n5demo_dir=${curr_dir}/cpp/sdk/demo/build\n6lib_dir=${curr_dir}/cpp/sdk/lib\n7res_dir=${curr_dir}/RES\n8export LD_LIBRARY_PATH=${lib_dir}:${LD_LIBRARY_PATH}\n9#run\n10${demo_dir}/easyedge_serving ${res_dir} ${license_key}
\n
\n
\n
\n \n
    \n
  1. 获取模型二进制运行程序
    2. \n
\n

参考获得模型二进制运行程序。

\n

3.将cpp目录、RES目录，以及run.sh文件打包成一个fruit-ai-model.zip文件。目录结构如下图所示：

\n

\"image.png\"

\n
\n\n
\n

3、上传模型文件包至对象存储

\n

将模型文件包fruit-ai-model.zip上传至BOS。

\n

4、云端配置

\n

4.1. 创建边缘节点

\n

如下图所示，创建边缘节点jetson-nano

\n

\"image.png\"

\n

4.2. 创建AI模型配置项

\n

如下图所示，创建配置项：fruit-demo。引入上传至BOS对象存储的模型文件。

\n

\"image.png\"

\n

4.3. 创建AI推断服务

\n

如下图所示，创建应用fruit-detection

\n

\"image.png\"

\n

在应用当中添加一个容器服务，如下图所示：

\n

\"image.png\"

\n

\"image.png\"

\n\n

4.4. 将应用部署至节点

\n

在边缘应用当中，添加目标节点标签

\n

\"image.png\"

\n

5、边缘端配置

\n

5.1 安装Jetson依赖

\n

参考 Jetson依赖说明 。

\n

5.2 运行安装命令

\n
    \n
  1. copy云端边缘节点安装命令
    2. \n
\n

\"image.png\"

\n
    \n
  1. 在边缘节点执行安装命令
    2. \n
\n

6、验证边缘节点AI推断服务

\n

通过浏览器打开在线推断服务：http://「ip」 :24401/，上传测试图片，推断结果如下，证明AI服务正常启动。

\n

\"image.png\"

","fields":{"slug":"5kuhwytqo","title":"使用NVIDIA官方镜像运行模型-容器模式","date":"2022-12-01","extractedHeadings":[]},"headings":[{"value":"1、概述","depth":2},{"value":"2、生成模型包","depth":2},{"value":"3、上传模型文件包至对象存储","depth":2},{"value":"4、云端配置","depth":2},{"value":"4.1. 创建边缘节点","depth":3},{"value":"4.2. 创建AI模型配置项","depth":3},{"value":"4.3. 创建AI推断服务","depth":3},{"value":"4.4. 将应用部署至节点","depth":3},{"value":"5、边缘端配置","depth":2},{"value":"5.1 安装Jetson依赖","depth":3},{"value":"5.2 运行安装命令","depth":3},{"value":"6、验证边缘节点AI推断服务","depth":2}]}},"pageContext":{"isCreatedByStatefulCreatePages":false,"slug":"5kuhwytqo","prev":null,"next":null,"parents":[]}}}