技術コラム

「RZ/V2H」は、Arm Cortex-A55 Quad + Cortex-R8 Dual + Cortex-M33 の合計7個のプロセッサと、DRP-AI3 + DRPの2個のAIアクセラレータを内蔵しています。また、カメラ入力にMIPI CSI-2 x 4チャネル、ディスプレイ出力にMIPI DSIのほか、USB3.2、PCI Expressなど、最新の周辺インタフェースも備えています。

DRP-AIはAI-MAC（積和演算器）とDRP（動的再構成プロセッサ）で構成され、畳込み層や全結合層の演算をAI-MAC、その他の前処理などをDRPに割り当てることにより、AI処理の高速化を実現しています。

DRP-AIの特長を以下に記載します。

• AI 推論専用ハードウエアアクセラレータ
• AIモデル変換ツール（DRP-AI Translator）の提供
• DRP-AI と DRP-AI Translatorの協調による高い電力効率
• AIに必要な前後処理をDRPで高速処理

DRPに関しては、技術コラム Vol.8「RZ/A2Mで画像処理を劇的に高速化！」でも解説しておりますのでご覧ください。

「AP-RZV2-0A」は、高度なAIを必要とする自律型システムやFA向けマシンビジョンなど、ビジョンAI応用機器での利用を想定し、「RZ/V2H」の機能を最大限活かせるように設計されています。

「RZ/V2H」の開発は、ルネサス エレクトロニクス社にて提供されております「RZ/V AI SDK」を使用します。
開発環境は以下のようにDocker上に作成します。

では、早速開発環境の構築手順を説明します。
はじめに、開発に使用するDockerをUbuntuにインストールします。

$ sudo snap install docker

次に、必要なファイルを作成／ダウンロードします。

• Dockerfileをダウンロード
  https://raw.githubusercontent.com/renesas-rz/rzv_drp-ai_tvm/main/DockerfileV2H
• DRP-AI Translator i8インストーラをダウンロード
  https://www.renesas.com/ja/software-tool/drp-ai-translator-i8
• Linux開発キットでSDKを作成
  AP-RZV2-0A用のLinux開発キット「LK-RZV2-A01」のBSPを使用して作成します。

準備したファイルをUbuntu内に以下の構成で準備します。
ここでは、作業ディレクトリとして「~/ai_sdk_work」としています。

~/ai_sdk_work
 |-- DockerfileV2H
 |-- DRP-AI_Translator_i8-v1.03-Linux-x86_64-Install
 `-- poky-glibc-x86_64-core-image-weston-aarch64-rzv2h-aprzv20a-toolchain-3.1.31.sh

上記の準備が終わりましたら、Dockerイメージを作成します。

$ cd ~/ai_sdk_work

$ docker build -t drp-ai_tvm_v2h_image_${USER} -f DockerfileV2H .

GitHubリポジトリよりデモアプリケーションを取得します。

(Docker)# cd $TVM_ROOT

(Docker)# git clone https://github.com/Ignitarium-Renesas/rzv_ai_apps.git

/drp-ai_tvm/rzv_ai_apps/
 |-- 01_Head_count
 |-- 02_Line_crossing_object_counting
 |-- 03_Elderly_fall_detection
 |-- 04_Safety_helmet_vest_detection
 |-- 05_Age_gender_detection
 |-- 07_Animal_detection
 |-- 09_Human_gaze_detection
 |-- 10_Driver_monitoring_system
 |-- 11_Head_count_topview
 |-- 12_Hand_gesture_recognition_v2
 |-- 13_Car_ahead_departure_detection
 |-- 14_Multi_camera_vehicle_detection
 |-- 15_Road_lane_segmentation
 |-- LICENSE
 `-- README.md

デモアプリケーションは複数ありますが、以降では「01_Head_count」にて説明します。
また、表示解像度は1920×1080で構成されていますので、必要に応じて適宜変更します。

2) プログラムのビルド

プログラムのビルド手順を以下に記載します。
作業ディレクトリを作成します。

(Docker)# mkdir -p $TVM_ROOT/rzv_ai_apps/01_Head_count/src/build

Makefileを作成して、ビルドします。

(Docker)# cd $TVM_ROOT/rzv_ai_apps/01_Head_count/src/build

(Docker)# cmake -DCMAKE_TOOLCHAIN_FILE=./toolchain/runtime.cmake -DV2H=ON ..

(Docker)# make -j$(nproc)

3) 接続

4) 実行

~/tvm_demo/
 |-- libtvm_runtime.so
 |-- head_count_yolov3
 |    |-- deploy.json
 |    |-- deploy.params
 |    `-- deploy.so
 |-- labels.txt
 `-- head_count_app

# cd ~/tvm_demo

# export LD_LIBRARY_PATH=./

# ./head_count_app USB

今回は、「RZ/V2H」の概要とDRP-AIの動作デモをご紹介いたしました。
説明に使用した動作デモはDRP-AIとしては一例となりますが、学習済データ等を変更することで様々な用途に使用できます。

また、ご紹介した内容はLinux開発キットに付属するアプリケーションノートにて、より詳しい手順にて説明しております。ご興味がございましたらぜひ当社のAP-RZV2-0Aをお求めいただき、DRP-AIを体験してみてください。