TensorRT

顔検出器CenterFaceで高速推論

まえがき R&Dチームの宮﨑です。CenterFaceをTensorRTで実装したところ、かなりの性能が出たので記事にしました。 日々様々なDNNを実装・計測しているオプティムですが、その中でアンカーフリーの顔検出としてピックされたCenterFaceが期待できる結果が出た…

深層学習モデルの高速推論を支える TensorRT の概要

GCP の Tesla T4 が安くなったと思ったら元通りの価格にもどっていて、あれは幻だったのか・・・と嘆いている R&D チームの奥村(@izariuo440)です。これまで何度か TensorRT について触れてきましたが、どのように使うのかは触れていませんでした。今回は…

TensorRT 7 でさらに快適な高速推論

オプティムの R&D チームで Deep な画像解析をやっている奥村です。TensorRT 7 の変更点についてメモしました。非推奨機能に関するポリシーの明確化や、NLP、特に BERT に関するサポートの拡充、ありそうでなかった PReLU のサポートが気になった変更点です…

TensorRT 6 でさらに快適な高速推論

はじめに オプティムの R&D チームで Deep な画像解析をやっている奥村です。 2019/09/17 の Tweet で TensorRT 6 のリリースを発見しました。TensorRT 5.1.5 のリリースから約四ヶ月ぶりのリリースとなります。今回は RC がなく、いきなり GA となっていま…

TensorRT/Rust/CUDA/thrust... 技術選定 2018

オプティム R&D チームの奥村です。今回は、私がどういう風に技術選定してきたかという振り返りです。2018 年は、動画解析ミドルウェアの開発などに取り組んできましたので、その中で学んだことの一部 (TensorRT/Rust/CUDA/thrust) を振り返る形でお伝えしし…

TensorRT で物体検出・姿勢推定はどれくらい速くなる?

今回は、TensorRT で物体検出・姿勢推定はどれくらい速くなるのかを紹介します。せっかちな人のために、TensorRT による効果を先にかいつまんで書いておきます。 RefineDet という物体検出モデルでは 38 fps が 68 fps に向上 (x1.8 Faster!) OpenPose とい…