Deep Learning / Machine Learning

Multiple Object Trackingで使うカルマンフィルタの解説

はじめに カルマンフィルタとは MOTで使われる状態ベクトル 共分散行列も必要 各ステップの解説 予測(Prediction)ステップ 更新(Update)ステップ マハラノビス距離 まとめ はじめに R&Dユニット3年目の葉山です。 以前MOT(Multiple Object Tracking)の…

Label Studioでお手軽アノテーション生活

R&Dチーム所属の伊藤です。 最近物体検出系の画像アノテーションをする機会があったため色々なアノテーションツールを触っていたのですが、Label Studioが中々便利だったので紹介したいと思います。 今回は物体検出向けのアノテーションを実際に行なった時に…

CLIP+Faiss+Streamlitで画像検索アプリを作成してみる

R&Dチーム所属の伊藤です。気がついたら半年ぶりくらいの投稿になってしまいました。 今回はrinna株式会社より公開された言語画像モデルである日本語対応CLIPを使ってみた話になります。 元々はCLIPとFaissを組み合わせて画像検索のためのツールを作れないか…

Instant NeRF の心臓、Multiresolution Hash Encoding をシンプルに実装しつつ2次元画像で試してみる

こんにちは、プラットフォーム事業部の河内です。最近は新オフィスを堪能しています。 さて、今年の 3 月に NVIDIA から Instant NeRF という手法が発表されました。 blogs.nvidia.co.jp NeRF がどんなものなのか、Instant NeRF が今までの手法と比べ何がす…

PyTorch Metric LearningによるDeep Metric Learningの実践

こんにちは、R&Dチームの河野(@ps3kono)です。 前回は深層距離学習(Deep Metric Learning)の基礎知識とアルゴリズムの進化について紹介しましたが、この記事ではPyTorch Metric Learningという深層距離学習ライブラリを紹介したいと思います。 PyTorch Metri…

TensorRT 8.2.2/8.2.3のリリースノート内容メモ

まえがき R&Dの宮﨑です。FORTNITEの入力を弄るツールであるダブルムーブメント(合法)がRustで書かれているのを見て低レイヤはRustで書くのがセオリーになりつつあるのかと実感している次第です。 今回はTensorRT 8.2.2/8.2.3のリリースノートの内容をメモし…

AlphaGoで学ぶ強化学習 ~次の一手を予測する将棋AIを作ってみよう~

こんにちは、R&Dの宮城です。 将棋の竜王戦が世間を賑わせる中、オプティムでも人知れず将棋AI vs 私の熱闘が繰り広げられていました。 今回の記事では強化学習について簡単に説明した後、次の一手を予測する将棋AIを作成し、作成した将棋AIと実際に戦ってみ…

Deep Learningによる異常検知デモ①:回転レーン上のブロックを撮影し、ブロックの位置とゲート跡を検出する

お久しぶりです、R&Dの加藤です。最近は「A列車で行こう~はじまる観光計画~」をコツコツ進めていますが楽しいですね。Steamでも公開されるそうなのでNintendo Switchを持っていなくてもプレイできますよ。 さて、今回はDeep Learningによる異常検知デモを作…

EfficientDetによるドキュメントレイアウトを意識したOCR解析

R&D チームの徳田(@dakuton)です。 過去記事にて紹介したLayoutParserがバージョンアップ(v0.3.0以降)により、EfficientDetによるドキュメントレイアウト解析がサポートされたので動かしてみました。 技術解説 EfficientDetとLayoutParserの技術的な説明に…

深層距離学習(Deep Metric Learning)の基礎から紹介

こんにちは、R&Dチームの河野(@ps3kono)です。深層学習モデルの開発を担当しております。 今回は、画像分類、画像検査、顔認識や異常検知など様々な分野に利用されている深層距離学習(Deep Metric Learning)について紹介したいと思います。 Deep Metric Lear…

姿勢推定モデル MoveNet を TensorRT でベンチマーク

R&D チームの奥村(@izariuo440)です。日本で気温が暖かくなると姿勢推定が盛り上がってくるように見えるのは私だけでしょうか?今年の5月に発表された人物姿勢推定モデルの MoveNet v3 をTensorRT でベンチマークしてみました。CPU でもかなり高速推論が…

ディープラーニングモデル圧縮手法 Pruning を PyTorch でお試し

こんにちは、R&D チームの宮城です。画像分類モデルの開発や精度改善などの業務を担当しています。 最近は将棋観戦にはまっており、藤井聡太先生の対局を見まくっていますが一向に将棋が強くなる気配はありません。 今回の記事ではディープラーニングモデル…

LayoutParserによるドキュメントレイアウトを意識したOCR解析

R&D チームの徳田(@dakuton)です。 過去記事に引き続き、今回もテキスト抽出をさくっといい感じにしようシリーズです。 前回記事 tech-blog.optim.co.jp LayoutParserとは 物体検出を追加利用したドキュメント向けレイアウト解析ツールです。 (GitHub)Layo…

TensorRT 8 でさらに快適な高速推論

オプティムの R&D チームで Deep な画像解析をやっている奥村です。手元に NVIDIA RTX A4000 が届いてわくわくしています(PCIe 3.0 でも動作する模様)。TensorRT 8 の変更点についてメモしました。 はじめに 気になった内容 QAT で訓練されたネットワーク…

Multiple Object Trackingの手法・ライブラリ紹介

R&Dチーム2年目の葉山です。巣ごもりの影響...はあまり関係なく元からですが、もっぱら自宅で映画ばかり見ています。バイオレンスな映画が好きです。最近は業務でMultiple Object Trackingを扱っており、トラッキング処理の実装に四苦八苦しています。 今回…

【初心者向け】 機械学習におけるクラス分類の評価指標の解説

こんにちは。R&Dチームの河野です。主な担当業務は機械学習モデルの開発です。 タイから日本に留学し、卒業後日本企業に就職していました。データ分析・機械学習の業務経験が3年程度で、R&Dチーム唯一の女性かつ外国人のメンバーです。 直近の仕事はディープ…

PyTorchとTorchScriptでFP16な推論を試してみた

まえがき R&Dチームの宮﨑です。最近Fortnite熱が再燃して毎日練習してますが肝心な時にポンプを外してばかりでへこんでいます。 今回はPyTorch&TorchScriptで推論をFP16で実行し、速度計測やプロファイルしてみました。 まえがき PyTorchとTorchScriptを用…

TensorRTの演算精度・バージョンのメモ

TensorRT 歴3年となった R&D チームの奥村(@izariuo440)です。今回は、2021/04/12 に発表された Ampere 世代の各種 GPU に対して TensorRT でその性能を十分に引き出すために必要な知識をまとめておきます。FP16/INT8 をうまく使うと、推論速度が2〜4倍…

順序をもつ分類タスクで使える手法「label distribution learning」をご紹介

はじめまして、R&D チームの宮城です。業務では主に画像分類モデルの開発や精度改善を担当しており、現時点(2021年3月)でR&D唯一の文系学部出身です。 趣味はNBA観戦で、ジョージ・ワシントン大学時代の渡邊雄太選手(現トロント・ラプターズ)を生で見たこと…

ONNX 2020

R&D チームの奥村(@izariuo440)です。相変わらず深層学習モデルの推論に取り組んでいます。深層学習モデルの推論器として二年前に ONNX Runtime を軽くレビューしましたが、当時と比較するとかなり進歩しており、ONNX Runtime だけでなく ONNX 自体や関連…

PyTorch MobileがプロトタイプでNNAPIに対応したので試してみる

まえがき プレイ時間200時間にして念願の初ソロドン勝を達成しもう思い残すことはないR&Dチームの宮﨑です。 ちょうど一か月ほど前の11/13にPyTorch Mobileが(プロトタイプですが)Android NNAPIをサポートというアナウンスがありました。公式によると10倍高…

Deep learning等の精度評価に便利なPyCMの紹介と各種指標の比較

OPTiM TECH BLOG Advent Calendar 2020 12/8 の記事です。 お久しぶりです。R&Dの加藤です。最近買った大きな買い物はDAHONのK3です。 購入したのは8月末ですが、11月に入るまでスタンドが手に入らなかったです。現状の不満点は空気が入れにくいという事だけ…

TorchScript入門【PyTorchモデルを変換してC++/モバイルで実行できるモデルを手に入れる】

まえがき R&Dチームの宮﨑です。今回はPyTorchのモデルをC++/モバイルから実行できるように変換してくれるTorchScriptについてご紹介したいと思います。本記事ではPyTorch 1.4.0を前提にしています。 8/26に発表するOPTiM TECH NIGHTでもLibTorch/TorchScrip…

顔検出器CenterFaceで高速推論

まえがき R&Dチームの宮﨑です。CenterFaceをTensorRTで実装したところ、かなりの性能が出たので記事にしました。 日々様々なDNNを実装・計測しているオプティムですが、その中でアンカーフリーの顔検出としてピックされたCenterFaceが期待できる結果が出た…

AWS SageMakerローカルモードで学ぶコンテナベース機械学習

R&Dチームの徳田(@dakuton)です。 時系列分析に携わるエンジニア目線でコロナウイルスに関する動向を見ていると、短い期間で当てはまる予測モデルをつくるというよりは、カットオフ発生(データの分断点)を調べることが重要になるだろうと思いながら自宅で静…

大規模コーパスでGoogle Cloud Speech To Text APIの精度検証を行う & アップデート内容の検証

どうもこんにちは!新型コロナウイルスの影響で卒業式が中止になった、2020年新卒入社予定の山口です。 今回はGoogle Cloud Speech-to-Text API(以下GST)を大規模コーパスで精度検証した結果と、GSTアップデートの検証内容について共有していけたらと思い…

Google Cloud Speech-to-Text APIをいろいろ調査してみる

こんにちは、2020年新卒入社予定の山口です!修論と引越し準備とアルバイトで慌ただしい日々を過ごしています。今日は業務で触った、Google製API Google Cloud Speech-to-Text API について皆さんと共有できればと思います。 Google Cloud Speech-to-Text AP…

深層学習モデルの高速推論を支える TensorRT の概要

GCP の Tesla T4 が安くなったと思ったら元通りの価格にもどっていて、あれは幻だったのか・・・と嘆いている R&D チームの奥村(@izariuo440)です。これまで何度か TensorRT について触れてきましたが、どのように使うのかは触れていませんでした。今回は…

TensorRT 7 でさらに快適な高速推論

オプティムの R&D チームで Deep な画像解析をやっている奥村です。TensorRT 7 の変更点についてメモしました。非推奨機能に関するポリシーの明確化や、NLP、特に BERT に関するサポートの拡充、ありそうでなかった PReLU のサポートが気になった変更点です…

【ML Kitで】来場者が身に着けたQRコードを自動取得するAI Marker(α版)の話【Androidアプリ開発】

はじめに AI Markerとはなんぞや OPTiM INNOVATION 2019でAI Markerお披露目 必要なスペック 技術選定 QRコードのライブラリ選定 ML Kitは便利 quickstart-android/mlkit紹介 (おまけ)QRコードの精度向上について (番外編)ARマーカーじゃダメなの? 取得…