Jetson Nano にdepthAIの環境を作ってOAK-D-LITE OpenCV DepthAIカメラ を使ってみます。
エッジAIカメラを使ってface_recognition（顔識別）をやってみるのAppendixでご紹介したhand_trackerで、
ラズパイでは少々荷の重かった3D visualizationをやってみます。
こんなやつです。
depthAIの環境を元にしてますが、そのままでは実行できなかった部分を補足しながらやってみます。
ベースはJetson Nano (４GB) + Jetpack 4.6 (Ubuntu 18.04 LTS)
OSをインストールしたら以下を実行
仮想環境を作ってそこにセットアップしてね、ということでしたのでそうします。
この場合、udevrules をセットしておかないと仮想環境からカメラが見えませんので以下を実行。
SWAP領域を４GB確保しておきます。
仮想環境でセットアップ
.bashrcにVirtual Env Wrapperの構成を追記します。
以下を末尾に追記
export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/bin/virtualenvwrapper.sh
以下を実行
depthAIという仮想環境を作成
depthAIの環境に入っていることを確認します。
依存パッケージをインストール
リポジトリからdepthai_pythonをクローンして、要件をインストールします。
Warningが出ます。 export OPENBLAS_CORETYPE=ARMV8を追記するタイミングが上記のでいいのか気になりますが….。
要件インストールを再実行します。
物体検出してトラッキングするサンプルを実行
こんな感じ
ｑキーで終了
hand_trackerの3D visualizationをやってみます。
ディレクトリを戻ります。
hand_trackerをクローンして3D visualizationを実行します。
こんな感じです。Jetson Nano レベルだとぎりぎりスムースです。TX2やXavier NXくらいが妥当かも。
Xavier NX だとこのくらいのパフォーマンス、ほぼリアルタイムでレスポンスしています。
仮想環境を抜ける
deactivate
仮想環境に再度入る
workon depthAI
これで触覚グローブなどを使えば、デジタルツィン（メタバース）の中の３Dモデルに触った感触をフィードバックできますね。また、全身骨格モデルを作って、国交省のPLATEAU [プラトー] の中を歩きまわってみるようなシミュレーションモデルもできそうですね。
MuJoCo（物理演算エンジン）もオープンソースで公開してくれてますし…..。
Appendix
Leave a Reply