Edge Computing

TensorRT 8.2.2/8.2.3のリリースノート内容メモ

まえがき R&Dの宮﨑です。FORTNITEの入力を弄るツールであるダブルムーブメント(合法)がRustで書かれているのを見て低レイヤはRustで書くのがセオリーになりつつあるのかと実感している次第です。 今回はTensorRT 8.2.2/8.2.3のリリースノートの内容をメモし…

姿勢推定モデル MoveNet を TensorRT でベンチマーク

R&D チームの奥村(@izariuo440)です。日本で気温が暖かくなると姿勢推定が盛り上がってくるように見えるのは私だけでしょうか?今年の5月に発表された人物姿勢推定モデルの MoveNet v3 をTensorRT でベンチマークしてみました。CPU でもかなり高速推論が…

Edge TPU の July 2021 Updates を追う

こんにちは、R&D チームの奥村(@izariuo440)です。 前回の Edge TPU の記事から1年4ヶ月ほど空いてしまいました。その間、Windows 向けの PCIe ドライバのβ版が公開されたり Edge TPU ランタイムが OSS になったり、Python/C++ 向けの API が整理された…

TensorRT 8 でさらに快適な高速推論

オプティムの R&D チームで Deep な画像解析をやっている奥村です。手元に NVIDIA RTX A4000 が届いてわくわくしています(PCIe 3.0 でも動作する模様)。TensorRT 8 の変更点についてメモしました。 はじめに 気になった内容 QAT で訓練されたネットワーク…

TensorRTの演算精度・バージョンのメモ

TensorRT 歴3年となった R&D チームの奥村(@izariuo440)です。今回は、2021/04/12 に発表された Ampere 世代の各種 GPU に対して TensorRT でその性能を十分に引き出すために必要な知識をまとめておきます。FP16/INT8 をうまく使うと、推論速度が2〜4倍…

PyTorch MobileがプロトタイプでNNAPIに対応したので試してみる

まえがき プレイ時間200時間にして念願の初ソロドン勝を達成しもう思い残すことはないR&Dチームの宮﨑です。 ちょうど一か月ほど前の11/13にPyTorch Mobileが(プロトタイプですが)Android NNAPIをサポートというアナウンスがありました。公式によると10倍高…

TFLite C++ API for Android ビルド手順メモ

R&D チームの奥村(@izariuo440)です。TensorFlow 2.3 以降、TFLite が XNNPACK で高速になりそうな機運を感じたので Android での性能を少し確認してみました。XNNPACK を有効化してスレッド数を適切に設定すれば、CPU でも従来の 1.2 〜 2.0 倍の FPS が…

物体検出器 EfficientDet をブラウザで高速推論

R&D チームの奥村(@izariuo440)です。EfficientDet がブラウザで動いているのを見たことがなかったので、やってみました。以下はブラウザで実行中の様子1です。 結果として、EfficientDet-D0 で 256x256 の解像度の画像を TensorFlow Lite で推論させると…

「WebRTC Native Client Momo」のNVIDIA GPU(NVENC)によるハードウェアエンコードの性能検証

はじめに こんにちは。プラットフォーム技術戦略室の青木です。 普段はLaravelやクラウドネイティブインフラストラクチャ、IoTなどの記事を執筆しています。 業務ではPoCやR&Dを行うことが多く、今回はPoCとして正式導入を検討する上でのパフォーマンステス…

Edge TPU の April 2020 Updates を追う

こんにちは。 前回の Edge TPU 更新からはや2ヶ月。今回の更新では、複数台の Edge TPU を使ってひとつのモデルをパイプライン実行できる API がベータ提供されました。より高速な推論ができる可能性が広がったということですね。この記事では Edge TPU Apr…

深層学習モデルの高速推論を支える TensorRT の概要

GCP の Tesla T4 が安くなったと思ったら元通りの価格にもどっていて、あれは幻だったのか・・・と嘆いている R&D チームの奥村(@izariuo440)です。これまで何度か TensorRT について触れてきましたが、どのように使うのかは触れていませんでした。今回は…

Edge TPU の January 2020 Updates を追う

こんにちは。mermaid でガントチャートを書いている R&D チームの奥村(@izariuo440)です。前回の Edge TPU 更新からはや4ヶ月。今回の更新では、Edge TPU が macOS や Windows で動くようになりました。この記事では Edge TPU January 2020 Updates をベ…

TensorRT 7 でさらに快適な高速推論

オプティムの R&D チームで Deep な画像解析をやっている奥村です。TensorRT 7 の変更点についてメモしました。非推奨機能に関するポリシーの明確化や、NLP、特に BERT に関するサポートの拡充、ありそうでなかった PReLU のサポートが気になった変更点です…

Edge TPU の September 2019 Updates を追う

こんにちは。6年間使い続けた iPhone 5s に別れを告げ、iPhone 11 Pro に移行した R&D チームの奥村(@izariuo440)です。前回の Edge TPU 更新からはや2ヶ月。今回の更新では、apt-get 対応強化、コンパイラ更新、Python ライブラリ更新、GitHub への移行…

TensorRT 6 でさらに快適な高速推論

はじめに オプティムの R&D チームで Deep な画像解析をやっている奥村です。 2019/09/17 の Tweet で TensorRT 6 のリリースを発見しました。TensorRT 5.1.5 のリリースから約四ヶ月ぶりのリリースとなります。今回は RC がなく、いきなり GA となっていま…

Edge TPU の性能を引き出すためには?

はじめに オプティムの R&D チームで Deep な画像解析をやっている奥村です。 Edge TPU は NVIDIA GPU と同じような感覚で使うことはできません。NVIDIA GPU よりもメモリの制約が強く、Edge TPU の性能を引き出したり、複数のモデルを1つの Edge TPU で同…

2019インターン紹介: MediaPipeを用いたモバイル向けリアルタイム手指トラッキングを動かしてみる

R&D チームの徳田(@dakuton)です。好きなHand Poseはメロイックサインです。 先日、2019年度のインターン事例として、EdgeTPU向けの全身姿勢推定をご紹介しました。今回は別の事例として、MediaPipeを用いたモバイル向けのリアルタイム手指推定+トラッキング…

2019インターン紹介: Edge TPU向けPoseNetのリアルタイム姿勢推定

R&D チームの量子化警察こと徳田(@dakuton)です。 7月のEdge TPUアップデートにあわせて、7/30にPoseNetのEdge TPU版が公開されていた(作者Twitter動画はこちら)ため、今夏初のインターンとしてチャレンジしてもらいました。 Edge TPUアップデート内容につい…

Edge TPU の July 2019 Updates を追う

こんにちは。R&D チームでコンピュータビジョンの深層学習モデル推論特化型人材として活躍している(自称)奥村(@izariuo440)です。Edge TPU リリースからはや4ヶ月。周辺ソフトウェアの更新でハードウェアの潜在能力が顕在化してきています。先日、post-…

エッジデバイス推論向けのTensorFlow最適化を掘り下げてみる #GoogleMLSummit

まえがき R&Dチームの徳田(@dakuton)です。 昨日、Google主催の機械学習エンジニア向けイベント「Google Developers ML Summit Tokyo」に参加してきました。 このイベントでは、エッジデバイス推論(On-Device Machine Learning)に関するセッションもいくつか…

ハイブリッド学習時代にそなえる、定量データ解析AIのためのエッジデバイス活用パターン

まえがき R&Dチームの徳田(@dakuton)です。本ブログの副編集長を兼任しています。普段の業務では機械学習などを用いて定量データの解析を行っています。 今年の6月に、Androidのイベント(ABC 2018 Spring)でエッジデバイス(主にモバイル)に関する機械学習の…