2021-01-01から1年間の記事一覧

Amazon Managed Workflows for Apache Airflow (MWAA) を導入・運用してみて

DRIVE CHARTでは、機械学習システムのデータパイプラインとしてAirflowを利用しています。 今回は、AWSで提供されているマネージドサービス「Amazon Managed Workflows for Apache Airflow(MWAA)」に移行したので、ちょっとしたtipsや導入・運用時のハマリポ…

BigQuery での Materialized View による JSON 列の処理

BigQuery でさまざまな情報が JSON 形式で格納されているテーブルはありませんか? MoT でも JSON 形式でログ情報を格納しているテーブルが存在します。そのようなテーブルの難点と、難点を克服するためのエンジニアリングについて紹介します。 AI技術開発部…

Cloud SQLからDatastoreにデータの保存先を変更した際のハマりどころと解決策

プッシュ通知関連のデータを制御するテーブルは1億レコードにも及ぶのですが、この巨大なテーブルによってDBのパフォーマンスが悪化する問題が発生していました。それらをどのように改善したのかについて解説します。 はじめに バックエンドグループの青松で…

Bokehを使ったインタラクティブな可視化ツール

この記事では以前Bokehを使ったインタラクティブな可視化ツールの作成したときの経験に基づいて、複数の実現方法を比較・検証します。 はじめに アルゴリズムグループの佐藤です。この記事では以前Bokeh を使ったインタラクティブな可視化ツールの作成したと…

ABテスト効果検証 -Bayesian Testing-

AI

AI技術開発部分析グループ所属の秋月です。 分析グループは、タクシーアプリ「GO」におけるデータドリブンなビジネス意思決定を行うために、様々なユーザ分析、乗務員分析を行っています。 本記事では、ABテストを実施した際の効果検証に利用する Baysian Te…

CHART Edge AIライブラリ開発におけるCI/CD紹介

システム開発部 AI基盤グループの廣安です。交通事故削減支援を行う次世代AIドラレコサービス『DRIVE CHART』のAI推論処理を行うEdge AIライブラリの開発やメンテナンスを主業務としています。今回はそのライブラリ開発の品質保証のためにどのようにCI/CDを…

Cythonによる内製地図ライブラリの経路検索の高速化

AI技術開発部アルゴリズムグループの谷本です。「マップマッチ・経路検索などのアルゴリズムを含む内製地図ライブラリ」のメンテナンスを主業務としています。今回はpythonによって実装された内製地図ライブラリ、特に経路探索部分をCythonを使って高速化し…

BigQuery で統計処理を完結させる

はじめまして、AI技術開発部 分析グループ の浅見です。 Mobility Technologies(MoT)では、BigQuery上でログの保存やデータマート運用を行い、集計や分析をした上で、LookerやGoogleスプレッドシートで効果検証などをレポート化しています。BigQueryはとて…

Data Science @ GO

AI

AI技術開発部アルゴリズムグループマネージャーの織田です。アルゴリズムグループは、配車アプリ「GO」におけるデータ分析や、機械学習システムの開発・運用を行なっているチームです。本記事では、私たちがチームとして実践している「GO」のデータサイエン…

Androidエンジニア必見!タクシーアプリGOのUXを高める工夫

2021年5月27日に「MoT TechTalk #4 Androidエンジニア必見!タクシーアプリGOのUXを高める工夫」(connpass)を開催しました。 本記事では当日の内容を簡単に紹介します。 当日のスライド MoT TechTalkとは? MoT TechTalkは、Mobility Technologiesのエンジ…

CloudWatch LogsのログをBigQueryで分析できるようにする

次世代事業本部 データビジネス部 KUUグループ の田中です。 今回はシステムのログを分析をしやすくするためにAWSのCloudWatch LogsのログをGCPのBigQueryに転送する仕組みを構築し、BigQuery上で分析できるようにした話です。 はじめに 株式会社ゼンリンと…

AndroidアプリのJCenter閉鎖の影響調査と暫定対応

こんにちは。 車載システム第二グループの空中です。Twitter等では @soranakk で活動しているのでそちらの方がわかるかもしれません。普段はタクシー車両に搭載された専用端末上で動作するAndroidアプリ開発をしています。 さて、唐突ですがJCenterが閉鎖さ…