組み込みシステム
CBX2
CBX2 AIエッジコンピュータ
- AIエッジコンピュータ
- Liveコーデック
- 外観選別サービス
CBX2
CBX2は、HDMI出力に加えてHDMI入力を有しており、4K/60fpsレコーダ、デジタルサイネージ、映像配信、AI推論処理 等、様々なシーンで活用できます。OSはAndroid を採用しており、Google ML Kitを利用したAI用APIやカメラ用APIなどを使用する事で、アプリケーション開発を容易に行う事ができます。画像処理用のエッジコンピュータとしての販売、及び、映像配信ソフトウェアや外観選別用ソフトウェアをインストールした状態で販売しています。
AIエッジコンピュータ
システムオンモジュール QCS8250 をベースに、HDMIからの映像入力やLANといったインターフェースを搭載したAI開発用のエッジコンピュータとしてご使用いただけます。また、HDMI-IN より入力された映像をHDMI-OUT に出力する事が可能な為、映像配信用途や映像視聴と映像録画用途にも使用する事ができます。
AI Framework 使用例
・Tensorflow Lite
Tensorflow Liteの実行例(30fps動画/GPUを使用)
「Snapdragon Neural Processing Engine SDK」(以下SNPE) チュートリアル
■コンパイル環境
Ubuntu 18.04
SNPE v2.19.2.240210
Python 3.6.9
Android Studio (2023.2.1)
■ワークフロー
QualComm社の提供しているチュートリアルのドキュメント 2.10.0(2023年4月) を参照します。
https://developer.qualcomm.com/sites/default/files/docs/snpe/index.html
■SNPEのインストール
SNPE を下記からダウンロードします。
ダウンロードするには、アカウントを取得しておく必要があります。
https://qpm.qualcomm.com/#/main/tools/details/qualcomm_neural_processing_sdk
ダウンロードしたファイルは、下記のとおりです。
"qualcomm_neural_processing_sdk.2.19.2.240210.Kinux-AnyCPU.qik"
ダウンロードしたファイルをインストールするために、
「Qualcomm Package Manager 3」を、下記からダウンロードします。
https://qpm.qualcomm.com/#/main/tools/details/QPM3
ダウンロードしたファイルは、下記のとおりです。
"QualcommPackageManager3.3.0.94.2.Linux-x86.deb"
■開発に必要なPython3 関連のインストール
$ sudo apt-get install libc++-dev
$ sudo apt-get install python3.6
$ sudo apt-get install python3-pip
$ pip3 install --upgrade pip
$ pip3 install numpy==1.16.5
$ pip3 install sphinx==2.2.1
$ pip3 install scipy==1.3.1
$ pip3 install matplotlib==3.0.3
$ pip3 install scikit-image==0.15.0
$ pip3 install protobuf==3.6.0
$ pip3 install pyyaml==5.1
■TensorFlow のインストール
モデルとして利用しているTensorFLowをインストールします。
$ pip3 install --upgrade pip
$ pip3 install tensorflow==1.6
■環境変数の設定
$ export TENSORFLOW_HOME=~/.local/lib/python3.6/site-packages/tensorflow
$ source /opt/qcom/aistack/snpe/2.19.2.240210/bin/envsetup.sh
■glibc 2.29 のインストール
tensorflow モデルをDLCフォーマットに変換するために、glibc 2.29 をインストールします。
$ sudo apt-get install gawk bison
$ sudo apt-get install gawk bison
$ wget -4c https://ftp.gnu.org/gnu/glibc/glibc-02,29.tar.gz
$ tar -zxvf glibc-2.29.tar.gz
$ cd glibc-2.29
$ mkdir build_dir
$ cd build_dir
$ ../configure --prefix=/opt/glibc
$ make
$ sudo make install
$ sudo cp /opt/glibc/lib/libm-2.29.so /lib/x86_64-linux-gnu/.
$ cd /lib/x86_64-linux-gnu
$ sudo rm libm.so.6
$ sudo ln -s libm-2.29.so libm.so.6
■tensorflowモデルをDLCフォーマットに変換
$ cd $SNPE_ROOT
$ mkdir tmpdir
$ python3 $SNPE_ROOT/examples/Models/inception_v3/scripts/setup_inceptionv3.py -a ./tmpdir -d
$ python3 $SNPE_ROOT/examples/Models/inception_v3/scripts/setup_inceptionv3.py -a ./tmpdir -d -r dsp
$ python3 $SNPE_ROOT/examples/Models/inception_v3/scripts/setup_inceptionv3.py -a ./tmpdir -d -r aip
■java 開発キットのインストール
$ sudo apt-get install openjdk-17-jdk
■android studio をインストール
下記アドレスから android studio インストーラのダウンロードし、アプリを起動します。
https://developer.android.com/studio?hl=ja
$ tar -zxvf android_studio_2023.2.1.23-linux.tar.gz
$ ./android-stuido/bin/studio.sh
実行可能なAI Framework 例
OS | Android 10 | |
---|---|---|
AI Framework |
Tensorflow ONNX SNPE pytorch |
|
AI Algorithm SDK |
Object Detection algorithm Pose Estimation algorithm Super Resolution algorithm Image Classifiers algorithm |
ハードウェア仕様
システム | OS | Android 10 |
Processor | QCS8250(Qualcomm) | |
CPUCore | Kyro 585 | |
GPU | Adreno 650 | |
NPU | NPU 230 | |
DSP | Hexagon DSP with Quad HVX V66Q, 1.5 GHz | |
映像圧縮処理 | Hardware Encoder (HEVC H.265, AVC H.264) | |
入出力端子 | 映像入力 | HDMI 2.0 |
映像出力 | HDMI 2.0 | |
USB端子 | USB 3.0 × 3ch | |
LAN端子 | RJ45(10/100/1000 BASE-T) | |
定格 | 電源 | AC100V 50/60Hz(専用アダプタ) |
消費電力(約) | 5W | |
本体寸法(幅×奥行×高さ) | 135 × 135 × 41 mm | |
質量(約) | 520g |
4K/60fps 組み込みボード
映像録画用の組み込み用ボードとしてご提供が可能です。インタフェースの追加などカスタマイズも可能ですので、お気軽にご相談ください。
特徴
■ Snapdragon 865(GPU Adreno 650)による高速な映像処理
■ 映像入力/映像出力共に、4K@60fps をサポート
■ 外部メモリへの記録用として、USB 3.0 を3ポート保有
■ ネットワークインターフェースとして、LAN / WiFi を保有
組み込み例
■ 超音波診断装置などの医療検査装置への組み込み
■ 工場で使用されている外観検査装置への組み込み
外観
カタログ・資料
Liveコーデック
監視カメラ映像やご使用機器のモニタ映像など、24h/365日 安定したLive映像配信をお届けします。
本製品の特徴
・1台で送信/受信 を同時に行う事が可能な為、TV会議システムと同じく相互に映像共有する事が可能です。
・1つの配信映像を複数の場所で同時に視聴する事ができます。
・オンプレミス環境でご使用いただく事で、セキュアな環境で動画配信を行う事ができます。
・配信先設定などの機器操作は、一括して操作端末から行う事ができます。
・FEC送信によるパケットロス耐性向上によって、より安定した映像視聴を行う事ができます。
・用途に応じた、映像品質パラメータの最適化を行う事ができます。
ご利用シーン
・工場のモニタ映像を別の遠隔地で表示したい。
・インターネット接続できない機器のモニタ映像を遠隔地で表示したい。
・監視カメラ等のカメラ映像を別の遠隔地で表示したい。
ソフトウェア仕様
映像エンコード | H.265 / H.264 | |
---|---|---|
映像ビットレート | 1〜80Mbps (任意に設定) | |
映像フレームレート | 5〜60fps (任意に設定) | |
入力映像解像度(最大) | 4K (3840x2160) | |
音声エンコード | AAC | |
プロトコル |
UDP/RTP ユニキャスト/マルチキャスト | |
ユーザインターフェース(操作) |
Webブラウザ / SOAP |
|
VoIP音声 |
AAC(音声送信/音声再生 双方向) |
|
サムネイル |
jpeg |
接続例
各拠点に本製品を1台設置する事で、映像を相互に送受信する事が可能です<
ネットワーク操作
Webブラウザより映像送信の開始/停止操作や送信先設定などの個別操作を行う事ができます。
また、操作管理用ソフトウェア(Windows用)を使用して、一括して操作/管理する事ができます。
<操作画面>
カタログ・資料
AI良品学習による外観選別サービス
良品画像を複数枚使用してAIの学習行い、良品と不良品の画像差分比較による外観選別用のソフトウェア提供を行います。また、お客様のご使用環境やご要望に合わせてソフトウェアの受託開発も行いますので、お気軽にご相談ください。
良品学習について
AI学習には良品画像のみを使用するため、収集が困難な不良画像を必要としません。
差分比較について
事前準備した学習済みモデルに、検査対象の画像を入力することでAIによる生成画像が出力されます。この生成画像は、良品のみを学習したAIモデルより出力される為、異常が発生した画像部分は正常画像に修復され出力されます。最終的に、入力画像とAI生成画像の差分比較する事で異常箇所をピンポイントで検出します。 差分処理フロー図
ソフトウェア仕様
検査対象物が検査対象範囲(下図青枠)内に入った場合に検査が開始されます。判定結果は画像で確認する事ができ、異常箇所を赤枠で示す事ができます。また、異常箇所の大きさ、及び、差分閾値を設定する事ができます。
検査入力画像 |
カメラ映像(動画)、又は、静止画 |
検査入力解像度 |
4K(最大) |
画像処理用PC |
Windows / Linux |
検査処理速度 |
100~2000 ms ※解像度や検査仕様による |