Edge Computing

TFLite C++ API for Android ビルド手順メモ

R&D チームの奥村(@izariuo440)です。TensorFlow 2.3 以降、TFLite が XNNPACK で高速になりそうな機運を感じたので Android での性能を少し確認してみました。XNNPACK を有効化してスレッド数を適切に設定すれば、CPU でも従来の 1.2 〜 2.0 倍の FPS が…

物体検出器 EfficientDet をブラウザで高速推論

R&D チームの奥村(@izariuo440)です。EfficientDet がブラウザで動いているのを見たことがなかったので、やってみました。以下はブラウザで実行中の様子1です。 結果として、EfficientDet-D0 で 256x256 の解像度の画像を TensorFlow Lite で推論させると…

「WebRTC Native Client Momo」のNVIDIA GPU(NVENC)によるハードウェアエンコードの性能検証

はじめに こんにちは。プラットフォーム技術戦略室の青木です。 普段はLaravelやクラウドネイティブインフラストラクチャ、IoTなどの記事を執筆しています。 業務ではPoCやR&Dを行うことが多く、今回はPoCとして正式導入を検討する上でのパフォーマンステス…

Edge TPU の April 2020 Updates を追う

こんにちは。 前回の Edge TPU 更新からはや2ヶ月。今回の更新では、複数台の Edge TPU を使ってひとつのモデルをパイプライン実行できる API がベータ提供されました。より高速な推論ができる可能性が広がったということですね。この記事では Edge TPU Apr…

深層学習モデルの高速推論を支える TensorRT の概要

GCP の Tesla T4 が安くなったと思ったら元通りの価格にもどっていて、あれは幻だったのか・・・と嘆いている R&D チームの奥村(@izariuo440)です。これまで何度か TensorRT について触れてきましたが、どのように使うのかは触れていませんでした。今回は…

Edge TPU の January 2020 Updates を追う

こんにちは。mermaid でガントチャートを書いている R&D チームの奥村(@izariuo440)です。前回の Edge TPU 更新からはや4ヶ月。今回の更新では、Edge TPU が macOS や Windows で動くようになりました。この記事では Edge TPU January 2020 Updates をベ…

TensorRT 7 でさらに快適な高速推論

オプティムの R&D チームで Deep な画像解析をやっている奥村です。TensorRT 7 の変更点についてメモしました。非推奨機能に関するポリシーの明確化や、NLP、特に BERT に関するサポートの拡充、ありそうでなかった PReLU のサポートが気になった変更点です…

Edge TPU の September 2019 Updates を追う

こんにちは。6年間使い続けた iPhone 5s に別れを告げ、iPhone 11 Pro に移行した R&D チームの奥村(@izariuo440)です。前回の Edge TPU 更新からはや2ヶ月。今回の更新では、apt-get 対応強化、コンパイラ更新、Python ライブラリ更新、GitHub への移行…

TensorRT 6 でさらに快適な高速推論

はじめに オプティムの R&D チームで Deep な画像解析をやっている奥村です。 2019/09/17 の Tweet で TensorRT 6 のリリースを発見しました。TensorRT 5.1.5 のリリースから約四ヶ月ぶりのリリースとなります。今回は RC がなく、いきなり GA となっていま…

Edge TPU の性能を引き出すためには?

はじめに オプティムの R&D チームで Deep な画像解析をやっている奥村です。 Edge TPU は NVIDIA GPU と同じような感覚で使うことはできません。NVIDIA GPU よりもメモリの制約が強く、Edge TPU の性能を引き出したり、複数のモデルを1つの Edge TPU で同…

2019インターン紹介: MediaPipeを用いたモバイル向けリアルタイム手指トラッキングを動かしてみる

R&D チームの徳田(@dakuton)です。好きなHand Poseはメロイックサインです。 先日、2019年度のインターン事例として、EdgeTPU向けの全身姿勢推定をご紹介しました。今回は別の事例として、MediaPipeを用いたモバイル向けのリアルタイム手指推定+トラッキング…

2019インターン紹介: Edge TPU向けPoseNetのリアルタイム姿勢推定

R&D チームの量子化警察こと徳田(@dakuton)です。 7月のEdge TPUアップデートにあわせて、7/30にPoseNetのEdge TPU版が公開されていた(作者Twitter動画はこちら)ため、今夏初のインターンとしてチャレンジしてもらいました。 Edge TPUアップデート内容につい…

Edge TPU の July 2019 Updates を追う

こんにちは。R&D チームでコンピュータビジョンの深層学習モデル推論特化型人材として活躍している(自称)奥村(@izariuo440)です。Edge TPU リリースからはや4ヶ月。周辺ソフトウェアの更新でハードウェアの潜在能力が顕在化してきています。先日、post-…

エッジデバイス推論向けのTensorFlow最適化を掘り下げてみる #GoogleMLSummit

まえがき R&Dチームの徳田(@dakuton)です。 昨日、Google主催の機械学習エンジニア向けイベント「Google Developers ML Summit Tokyo」に参加してきました。 このイベントでは、エッジデバイス推論(On-Device Machine Learning)に関するセッションもいくつか…

ハイブリッド学習時代にそなえる、定量データ解析AIのためのエッジデバイス活用パターン

まえがき R&Dチームの徳田(@dakuton)です。本ブログの副編集長を兼任しています。普段の業務では機械学習などを用いて定量データの解析を行っています。 今年の6月に、Androidのイベント(ABC 2018 Spring)でエッジデバイス(主にモバイル)に関する機械学習の…