TensorRT 歴３年となった R&D チームの奥村（@izariuo440）です。今回は、2021/04/12 に発表された Ampere 世代の各種 GPU に対して TensorRT でその性能を十分に引き出すために必要な知識をまとめておきます。FP16/INT8 をうまく使うと、推論速度が２〜４倍…