このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。
ソリューション事業部の遠藤です。
巷で話題のディープラーニングのモデルを動かすには、大きく分けて学習と推論の2つのフェーズがあります。実製品でディープラーニングを適用しようとした場合、基本的には2つのフェーズのうちの推論が動きます。したがって、推論の高速化はディープラーニングを適用するにあたって非常に重要なテーマです。
今回より4回にわたって、推論の高速化に効果のあるディープラーニング推論ライブラリの TensorRT を紹介します。
今回は第1回ということで、TensorRT の概要をまとめます。
TensorRT は、NVIDIA製の高性能ディープラーニング推論最適化・実行ライブラリです。TensorRT を用いるとネットワークが最適化され、低レイテンシ・高スループットの推論を実現することができます。
TensorRT は具体的に、以下のような最適化・高速化をネットワークに対し適用します。
TensorRT で利用可能なニューラルネットのレイヤは、以下のとおりです。一般的なニューラルネットに必要なレイヤは、一通りサポートされています。
TensorRT の公式サイトによると、以下の環境がサポートされています。
GeForce は残念ながら公式にはサポートされていません。
以上で、TensorRT の紹介を終わります。次回は、TensorRT の導入方法について説明したいと思います。
Windowsカーネルドライバを自作してWinDbgで解析してみる① - かえるのほんだな in Windowsデバイスドライバの基本動作を確認する (1)
[…] 参考:Windowsデバイスドライバの基本動作を確認する (1) - Fixstars Tech Blog /proc/cpuinfo ...
2021年版G検定チートシート | エビワークス in ニューラルネットの共通フォーマット対決! NNEF vs ONNX
[…] ONNX(オニキス):Open Neural Network Exchange formatフレームワーク間のモデル変換ツー...
YOSHIFUJI Naoki in CUDAデバイスメモリもスマートポインタで管理したい
ありがとうございます。別に型にこだわる必要がないので、ユニバーサル参照を受けるよ...
Imaizumi Yoshiki in CUDAデバイスメモリもスマートポインタで管理したい
`check_error` の引数 `f` の型、 `std::decay_t` にしないと `check_error` がおいてあるファイルと同...
Alveo U50のHBM | Debuggin' Everyday in IBM Power8マシンでAlveo U50を動かす
[…] U50を動かすお話です。以前、FixstarsさんのところでU50のXDMAを動かした記事 を拝見...