AI技術開発部の老木です。今回、分析ログの増大が課題となりJSON型の導入を検討しました。分析ログをJSON化した際に問題となる配列の扱いについて紹介します。 適当に作ったログがでかすぎる。ログを出力・分析する人間によくある悩みではないでしょうか。そ…

タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。BigQuery Remote Functions (Preview) を利用することのメリットや、導入にあたり工夫した点を紹介します。 ※ 本記事の…

BigQuery でさまざまな情報が JSON 形式で格納されているテーブルはありませんか？ MoT でも JSON 形式でログ情報を格納しているテーブルが存在します。そのようなテーブルの難点と、難点を克服するためのエンジニアリングについて紹介します。 AI技術開発部…

はじめまして、AI技術開発部 分析グループ の浅見です。 Mobility Technologies（MoT）では、BigQuery上でログの保存やデータマート運用を行い、集計や分析をした上で、LookerやGoogleスプレッドシートで効果検証などをレポート化しています。BigQueryはとて…

次世代事業本部 データビジネス部 KUUグループ の田中です。 今回はシステムのログを分析をしやすくするためにAWSのCloudWatch LogsのログをGCPのBigQueryに転送する仕組みを構築し、BigQuery上で分析できるようにした話です。 はじめに 株式会社ゼンリンと…

※本記事は Mobility Technologies の前身である JapanTaxi 時代に公開していたもので、記事中での会社やサービスに関する記述は公開当時のものです。 JapanTaxiではGoogle BigQueryのメタデータをバックアップするツールを作成し運用しています。そして今回…