AWS

GKE で Google マネージド証明書を利用するのが意外と難しい!Gateway API で LB を作成

こんにちは、SREグループのカンタンです! GO株式会社では AWS EKS と GCP GKE の Kubernetes クラスタを活用していて、EKS は以前から AWS マネージド証明書を利用していますが GKE は最近になって Let's Encrypt 証明書から Google マネージド証明書に移行…

CloudFront + S3で配信しているSPAのサイトをCross-Origin Isolationに対応しました

こんにちは、SREグループの浜地です。 GO株式会社では、様々な社内/社外向け管理画面システムをホスティングしており、多くはAmazon S3+Amazon CloudFrontを利用したSingle Page Application(以降SPA)構成をとっています。 今回はそのうちのひとつでCross…

postgres_exporterを使ってPostgreSQLの可観測性を向上させる方法

はじめに SREグループの古越です。GOでは多くのプロダクトでAurora PostgreSQLを利用しています。Aurora PostgreSQLは標準で多くのCloudWatchメトリクスを出力しており、ほとんどのユースケースに対応できる可観測性があります。しかし、PostgreSQLの詳細な…

AWS Encryption SDKによるクライアントサイド暗号化

こんにちは、SREグループの水戸 (@y_310)です。重要なデータをストレージに保存する際は暗号化を一つのセキュリティ対策として考えることが多いかと思います。最近はEncryption At Restと呼ばれるストレージレベルの透過的な暗号化によってストレージへの直…

S3からデータを消すためのプロセスとテクニック

15億を超えるオブジェクトを持つS3バケットからデータを消すためのプロセスとテクニックを、『DRIVE CHART』の運用で実際に行ったケースに沿ってご紹介します。 『DRIVE CHART』に携わるエンジニア・大西 (@ken_jimmy) です。 この投稿では、S3のデータの削…

LGTM!オブザーバビリティ基盤第1話

こんにちは、SREグループのカンタンです! GO株式会社にある様々なサービスは、SREが提供しているKubernetes基盤上で動いています。ログ検索基盤として長年BigQueryを利用していましたが、利用体験と効率を向上させるためにGrafanaをベースとした新しいオブ…

AWS IAM Identity Centerによるそこそこ複雑な権限管理の事例

こんにちは、SREグループの水戸 (@y_310) です。GO株式会社ではスタッフがAWSアカウントにログインする際の認証方法としてAWS IAM Identity Center (旧AWS SSO)を使用しています。 今回はAWS IAM Identity Centerを使ったAWSアカウントの権限管理の事例につ…

TerraformではなくCDKを使っている話

AWS

(これはMoT Advent Calender 2022の24日目です) データエンジニアの渡部徹太郎です。私の担当しているプロジェクトでは、Infra as CodeにTerraformではなくCDKというツールを使っているので、その話をします。 CDKの概要 CDKとはAWS専用のInfra as Codeツー…

AWS Client VPNをAzure AD SSO認証と連携する

MoTでは、社内で利用してる数々のサービスやリソースに安全にアクセスできるよう、AWSのマネージドなVPNサービスである、AWS Client VPN環境を準備し、社内に展開しています。 この記事では、実際に社内で利用しているAWS Client VPN環境で採用している、Azu…

Amazon Managed Workflows for Apache Airflow (MWAA) を導入・運用してみて

DRIVE CHARTでは、機械学習システムのデータパイプラインとしてAirflowを利用しています。 今回は、AWSで提供されているマネージドサービス「Amazon Managed Workflows for Apache Airflow(MWAA)」に移行したので、ちょっとしたtipsや導入・運用時のハマリポ…

AWS Client VPN環境の構築

この記事はMobility Technologies Advent Calendar 2021の9日目です。 MoTでは、社内で利用してる数々のサービスやリソースに安全にアクセスできるようにするため、AWSのマネージドなVPNサービスである、AWS Client VPN環境を準備し、社内に展開しています。…

Kubeflow Pipelines on Amazon EKSのワークフロー環境

DRIVE CHARTのAIシステムの開発・運用では、EKS上に構築したKubeflow Pipelinesをワークフロー環境として利用しています。本投稿では、このプラットフォームの活用や構成、構築やスケールの過程で遭遇した問題とその解決についてご紹介します。 この記事はMo…

MoTのインフラリソース命名規則を採用理由とともに紹介

こんにちは、SREグループの水戸 (@y_310) です。前回の記事でも触れたとおりMoTにはたくさんのサービスが稼働しており、それに応じて様々なインフラリソースも作成されています。そのためリソースの見通しを良くし、インフラ構築時に迷わず命名できるように…

Step Functionsでマイクロサービスをつなげる

『JapanTaxi』アプリと『MOV』の統合による後継アプリ『GO』の誕生に伴い、決済集計サービスをAWS Step Functionsを利用して開発しました。 背景 タクシーアプリ『GO』、『JapanTaxi』アプリなどの各サービスで決済が発生する、発生した決済情報は支払い、計…

CloudWatch LogsのログをBigQueryで分析できるようにする

次世代事業本部 データビジネス部 KUUグループ の田中です。 今回はシステムのログを分析をしやすくするためにAWSのCloudWatch LogsのログをGCPのBigQueryに転送する仕組みを構築し、BigQuery上で分析できるようにした話です。 はじめに 株式会社ゼンリンと…

AWSのセミナ「SageMaker事例祭り」で登壇しました

※本記事は Mobility Technologies の前身である JapanTaxi 時代に公開していたもので、記事中での会社やサービスに関する記述は公開当時のものです。 アマゾン ウェブ サービス ジャパン株式会社が2019/7/18(木)に開催した第6回Amazon SageMaker事例祭りに…