深掘りコンピュータビジョン！研究開発から社会実装まで #mot_tech_talk

2022年4月6日に「MoT TechTalk #11 深掘りコンピュータビジョン！研究開発から社会実装まで」（connpass）を開催しました。

本記事では当日の内容を簡単に紹介します。

当日のスライド

スライドは前半と後半で2つあります。記事の最後にアーカイブ動画も掲載しているので、そちらもぜひご覧ください！

【前半】DRIVE CHARTの話

DRIVE CHARTにおけるコンピュータビジョン
消失点ディテクターの研究開発
物体検出モデルの量子化に関する検討

【後半】道路情報の自動差分抽出プロジェクトの話

ドラレコ動画を使った地図メンテナンスの効率化
データの量や質を改善するData-Centric AIな取り組み
CV技術のR&Dからプロダクト実装までの道のり

MoT TechTalkとは？

MoT TechTalkは、Mobility Technologiesのエンジニアたちが、タクシーアプリGOをはじめとしたサービスやプロダクトを開発する中で得た技術的ナレッジを共有するイベントです。

11回目となる今回はMoTにおけるコンピュータビジョン（CV）技術にフォーカスし、いくつかの技術トピックについてその内容を深く紹介しました。

またこちらのツイートのスレッドで当日の様子や雰囲気を感じていただけると思います。

MoT TechTalk #11 「深掘りコンピュータビジョン！研究開発から社会実装まで」が19:00からはじまります！

ライブ配信: https://t.co/rw7quJcyg5

イベント説明: https://t.co/c4Ggkx1Fp6 #mot_tech_talk
— GO Inc. dev | タクシーアプリ『GO』 (@goinc_techtalk) April 6, 2022

登壇者紹介

今回はこちらのメンバーが登壇しました。

本多浩大
木村元紀（@motokimura1）
宮澤一之（@kzykmyzw）
鈴木達哉（@x_ttyszk）
masaki gota（@go_go_pdm）

DRIVE CHARTにおけるコンピュータビジョン

ここでは前半パートの土台となる「DRIVE CHART」について紹介しました。

DRIVE CHARTは次世代AIドラレコサービスです。ドライブレコーダーのカメラやセンサーの情報からドライバーが危険な運転をしてしまっていないか判定します。

コンピュータビジョンにおいてはドライブレコーダーの外向きカメラによる「車間距離不足」の判定や内向きカメラによる「脇見運転」の判定が関連深い要素です。

消失点ディテクターの研究開発

ここでは車間距離を算出するためにドライブレコーダーの画像から消失点（vanishing point, VP）を検出するための技術について、どのような研究開発を行っているか紹介しました。

カメラキャリブレーションの重要性
消失点（VP）ディテクターの原理
MoTが採用した検出方式の詳細
他の検出方式との精度比較

参考）End-to-End Monocular Vanishing Point Detection Exploiting Lane Annotations

物体検出モデルの量子化に関する検討

DRIVE CHARTでは物体検出モデルを含むコンピュータビジョンモデルがエッジデバイス上に複数実装されており、それらのモデルでは許容できる処理負荷内で速度や精度を最大化することが求められます。

ここでは物体検出モデルに対して量子化による高速化を目指した際、量子化につきものである精度低下をいかに抑えたか、その知見を紹介しました。

量子化することでなぜ精度低下が発生してしまうのか
YOLOv3での量子化による精度劣化への対応
YOLOv5での量子化による精度劣化への対応

ドラレコ動画を使った地図メンテナンスの効率化

ここからは後半パートの土台となる「道路情報の自動差分抽出プロジェクト」について紹介しました。

コンピュータビジョン技術を用いてドライブレコーダーの画像から検出した物体を地図と比較し、現況が地図から変化している箇所を抽出し地図会社に提供することで、地図更新の低コスト化と高鮮度化を実現しようという取り組みです。

またプロジェクトの概要に加え、読み取りに工夫が必要なLED型標識への対応や、標識の設置位置推定に関する技術についても紹介しています。

データの量や質を改善するData-Centric AIな取り組み

道路標識は数多く種類があり、よく見かける標識は学習データが十分な量があったのですが、珍しい標識は学習データが少なく、そのままモデルを構築しても満足できる検出精度を出すことができない課題がありました。

ここでは道路標識の検出精度を向上するために行ったData-Centric AIなアプローチについて紹介しました。

地図とGPSを使ってデータを効率的に集めることでデータの量を改善
アノテーションの間違いを修正することでデータの質を改善
アノテーション作業用の内製ツールについて

CV技術のR&Dからプロダクト実装までの道のり

今回取り上げた道路情報の自動差分抽出プロジェクトは、主に研究職のR&Dが得意なメンバーが中心となり取り組んできました。ただプレスリリースを発信した前後でよりプロダクトへの実装を意識した開発スタイルに変化していく必要がありました。

ここではR&DをメインとしてきたメンバーがPoCフェーズとプロダクト実装フェーズでどのように開発スタイルやマインドを変化させてきたか、プロダクト実装に参画する上で実施した施策を以下3つの観点で紹介しました。

知識の獲得、共通認識の醸成
開発体制の整備
学びの蓄積

アーカイブ動画

今回非常に多くの質問や感想をいただきました。ありがとうございました。アーカイブ動画の中では以下の質問にもお答えしていますのでぜひ視聴いただければと思います。

消失点ディテクターについて、画角やレンズ歪みの差異について、なんらかの対処はしているのか？
消失点が分かると、カーブでも前方車両との距離は求められるのか？
ドライブレコーダーの内蔵カメラの内部パラメータ、外部パラメータのキャリブレーションはどのようにしているのか？
YOLOのmAPの結果は量子化モデルを使って再学習した結果なのか？それとも、再学習なしの結果なのか？
LED型標識の読み取りの際、上半分や下半分などLED の一部のみが光っているフレームが存在してもうまく読み取れるのか？
道路情報の自動差分抽出プロジェクトで紹介された技術をすべてエッジで実装すると高処理になることが想像できるが、ドライブレコーダーには高性能なプロセッサを使われているのか？
クラウドに映像を飛ばしているとのことだが、ニアリアルタイムで処理出来るようなストリーミングパイプラインを構築しているのか？
雑談や知見共有を盛り上げるための、モチベーションを維持する工夫はあるか？