15億を超えるオブジェクトを持つS3バケットからデータを消すためのプロセスとテクニックを、『DRIVE CHART』の運用で実際に行ったケースに沿ってご紹介します。 『DRIVE CHART』に携わるエンジニア・大西 (@ken_jimmy) です。 この投稿では、S3のデータの削…

DRIVE CHARTでは、機械学習システムのデータパイプラインとしてAirflowを利用しています。 今回は、AWSで提供されているマネージドサービス「Amazon Managed Workflows for Apache Airflow(MWAA)」に移行したので、ちょっとしたtipsや導入・運用時のハマリポ…

DRIVE CHARTのAIシステムの開発・運用では、EKS上に構築したKubeflow Pipelinesをワークフロー環境として利用しています。本投稿では、このプラットフォームの活用や構成、構築やスケールの過程で遭遇した問題とその解決についてご紹介します。 この記事はMo…

はじめまして、AI技術開発部の齋藤です。 現在MoTではタクシー配車アプリの「GO」と「JapanTaxi」アプリを運営していますが、 今回はDataRobot Japan主催の第1回 MLOps 勉強会 Tokyoにて、「JapanTaxi」アプリに導入している機械学習モデルについてお話させ…

※本記事は Mobility Technologies の前身である JapanTaxi 時代に公開していたもので、記事中での会社やサービスに関する記述は公開当時のものです。 2019年9月にニューヨークで開催された機械学習運用カンファレンス「MLOps NYS」と「Strata Data Conferen…

※本記事は Mobility Technologies の前身である JapanTaxi 時代に公開していたもので、記事中での会社やサービスに関する記述は公開当時のものです。 2019年9月24日にニューヨークで開催された機械学習運用カンファレンス「MLOps NYS」に参加しました。MLOp…

※本記事は Mobility Technologies の前身である JapanTaxi 時代に公開していたもので、記事中での会社やサービスに関する記述は公開当時のものです。 2019/7/13(土)に東京大学にて開催されたCCSE2019にて、次世代モビリティ事業部の高橋と渡部が、登壇とブ…