こんにちは。 バックオフィス基盤1グループの福永です。 普段は決済基盤の開発や不正利用対策に従事しています。 業務の中でDBに5億件のデータを取り込むバッチを作成しました。 今回はバッチ作成にあたり意識したこと、工夫点などをご紹介します。 概要 タ…

この記事はGO Inc. Advent Calendar 2024 14日目の記事です。 こんにちは。AI技術開発部の牧瀬です。 Python アプリケーションのパフォーマンスチューニングに使えるプロファイラはいくつかありますが、本番環境でも使えるものとして Google Cloud Profiler …

タクシーアプリ『GO』のデータエンジニアをしている牧瀬です。 Apache Arrow という OSS を知り、弊社でも活用できる機会があるのではないかと興味を持ちました。本記事では Apache Arrow の概要を紹介します。 概要 Apache Arrow とは、インメモリのカラム…