2021-01-01から1年間の記事一覧

BigQuery での Materialized View による JSON 列の処理

BigQuery でさまざまな情報が JSON 形式で格納されているテーブルはありませんか? MoT でも JSON 形式でログ情報を格納しているテーブルが存在します。そのようなテーブルの難点と、難点を克服するためのエンジニアリングについて紹介します。 AI技術開発部…

Cloud SQLからDatastoreにデータの保存先を変更した際のハマりどころと解決策

プッシュ通知関連のデータを制御するテーブルは1億レコードにも及ぶのですが、この巨大なテーブルによってDBのパフォーマンスが悪化する問題が発生していました。それらをどのように改善したのかについて解説します。 はじめに バックエンドグループの青松で…

Bokehを使ったインタラクティブな可視化ツール

この記事では以前Bokehを使ったインタラクティブな可視化ツールの作成したときの経験に基づいて、複数の実現方法を比較・検証します。 はじめに アルゴリズムグループの佐藤です。この記事では以前Bokeh を使ったインタラクティブな可視化ツールの作成したと…

CHART Edge AIライブラリ開発におけるCI/CD紹介

システム開発部 AI基盤グループの廣安です。交通事故削減支援を行う次世代AIドラレコサービス『DRIVE CHART』のAI推論処理を行うEdge AIライブラリの開発やメンテナンスを主業務としています。今回はそのライブラリ開発の品質保証のためにどのようにCI/CDを…

Cythonによる内製地図ライブラリの経路検索の高速化

AI技術開発部アルゴリズムグループの谷本です。「マップマッチ・経路検索などのアルゴリズムを含む内製地図ライブラリ」のメンテナンスを主業務としています。今回はpythonによって実装された内製地図ライブラリ、特に経路探索部分をCythonを使って高速化し…

BigQuery で統計処理を完結させる

はじめまして、AI技術開発部 分析グループ の浅見です。 Mobility Technologies(MoT)では、BigQuery上でログの保存やデータマート運用を行い、集計や分析をした上で、LookerやGoogleスプレッドシートで効果検証などをレポート化しています。BigQueryはとて…

Data Science @ GO

AI

AI技術開発部アルゴリズムグループマネージャーの織田です。アルゴリズムグループは、配車アプリ「GO」におけるデータ分析や、機械学習システムの開発・運用を行なっているチームです。本記事では、私たちがチームとして実践している「GO」のデータサイエン…

Androidエンジニア必見!タクシーアプリGOのUXを高める工夫

2021年5月27日に「MoT TechTalk #4 Androidエンジニア必見!タクシーアプリGOのUXを高める工夫」(connpass)を開催しました。 本記事では当日の内容を簡単に紹介します。 当日のスライド MoT TechTalkとは? MoT TechTalkは、Mobility Technologiesのエンジ…

CloudWatch LogsのログをBigQueryで分析できるようにする

次世代事業本部 データビジネス部 KUUグループ の田中です。 今回はシステムのログを分析をしやすくするためにAWSのCloudWatch LogsのログをGCPのBigQueryに転送する仕組みを構築し、BigQuery上で分析できるようにした話です。 はじめに 株式会社ゼンリンと…