MySQL のバージョンアップによる MHA のバグを踏んだ話 [DeNA インフラ SRE]
こんにちは、IT 基盤部の西崎です。主に DeNA がグローバルに展開するゲームのインフラ管理を担当しています。 今回は MySQL のバージョンアップによって社内で利用しているツールで障害が発生し、その調査をした時のことをまとめてみます。細かい話になりますが、大規模に MySQL を使っている環境ならではの経験を紹介できると思います。 この調査自体は数年前に行ったものなので、この後の対応などについても追って記事にできればと考えています。 何が起こったのか DeNA では MHA という MySQL の高可用性ツールを利用しています。
- MySQL
- データベース
- SRE
AIに進捗確認を任せようとしたら、自分が進捗を見るようになった話 [DeNA インフラ SRE]
はじめに IT基盤部第一グループの大田です。 私はインフラエンジニアとして日々の運用を担当する一方で、ここ一年ほどはチームの長期施策の進捗管理にも関わるようになりました。自分が直接担当する施策について、複数の関係者と調整しながら課題を前に進めることには慣れていましたが、そうではない案件について、PM(プロジェクトマネージャー）として間接的に完了まで見届ける仕事にはまだ不慣れでした。 そこで私は、PM業務、その中でも特に進捗確認の部分をAIで楽にできないかと考えました。複数のプロジェクトが並行して進んでいると、どの施策が順調で、どこにテコ入れのフォローが必要なのかなどを把握し続けることが手間になります。AIが個々のプロジェクトの状況を整理してくれれば、その負担も減るのではないかと考えました。
- 生成AI
- プロジェクトマネジメント
- SRE
Dynatrace における個人情報マスキングのアプローチについて [DeNA インフラ SRE]
はじめに こんにちは。 IT 本部 IT 基盤部 第三グループの岡崎です。 IT 基盤部では、組織横断的にさまざまなサービス・プロダクトのインフラ運用を行っており、サービスの安定的な稼働や、運用の改善などに取り組んでいます。 本記事では、我々が利用検証を進めているオブザーバビリティツールの1つである Dynatrace において、取り込まれるログ内の個人情報をマスキングする方法についてご紹介します。 Dynatrace においてログをマスキングする方法としていくつかのアプローチが提供されていますが、それぞれのアプローチの特徴を把握し、自身の要件に合わせた選択ができるようになることを目的としています。
- Dynatrace
- SRE
- セキュリティ
末端スイッチの設定ミスから拠点全体の通信障害が起きてしまった話 [DeNA インフラ SRE]
はじめに こんにちは。ネットワークグループの林です。 すっかり時間が経ってしまったのですが、少し前に起こしてしまったネットワーク障害について振り返ります。 1つのインタフェイスの設定ミスが、拠点全体に波及する大きなネットワーク障害へと繋がってしまいました。 同様の障害を繰り返さないためにも、起きたことと今後の対策について書いておきたいと思います。 何があったのか ある平日の19時頃、とある拠点の L2 スイッチについて、機器設定の変更作業を開始しました。 作業内容は description の修正、VLAN 定義の追加、Trunk ポートの許可 VLAN の追加など、細々したものでした。
- ネットワーク
- SRE
- インフラ
- 監視
インターネット副回線のトラフィックをDCに集約してコスト削減した話 [DeNA インフラ SRE]
はじめに こんにちは, IT基盤部ネットワークグループ(NOC)のnagiです. NOCでは本社やグループ会社を含む多くのオフィスネットワークを運用しています. これらのオフィスネットワークの規模感はさまざまですが, 多くはインターネット回線を冗長化しています. 利用回線はいずれも品質を考慮しダークファイバー系のプロバイダーをよく採用しています. 加えてセキュリティ要件として必要なため/29で固定IPアドレスを確保しています. そのため回線費用は2万円~3万円程度, 回線冗長拠点の場合だとこれの倍です. 一拠点あたりでは大した金額ではありませんが, 拠点数が多いのでそこそこな金額にはなります. また事業部直営の拠点の場合は, 予算確保が難しく回線冗長化を断念するケースもありました.
- ネットワーク
- SRE
- インフラ
複数の AI を使い分けて新たな施策に次々と取り組んだ SRE の働き方 [DeNA インフラ SRE]
はじめに こんにちは、 IT 本部 IT 基盤部 第三グループの渡邊です。IT 基盤部では、組織横断的に様々なサービスのインフラ運用を行っています。 DeNA では AI オールインのスローガンのもと、全社的に AI を活用した生産性の向上に取り組んでいます。1 SRE の業務は多岐にわたります。サービスのインフラ運用、作業効率化のためのプロダクト開発、コスト削減、セキュリティ対応など、性質の異なるタスクを並行してこなす必要があります。組織横断で複数サービスを管掌し、障害対応や割り込みも多い中、AI ツールを駆使することで定常業務をこなしながら新たな施策に次々と取り組めるようになりました。
- SRE
- AI
- Devin
- Cursor
- Gemini
Helmfile + Argo CD + Renovate で複数環境の K8s 運用を回す構成と工夫 [DeNA インフラ SRE]
はじめに こんにちは、IT 本部 IT 基盤部第二グループの藤田です。IT 基盤部では、組織横断で複数プロダクトのインフラ運用を担当し、基盤の安定稼働やコスト削減に取り組んでいます。 私たちのチームでは 2〜3 年ほど前から Helm + Helmfile を活用して Kubernetes（以降 K8s）を運用しています。Helm は Kubernetes のパッケージマネージャーで、アプリケーションを「Chart」として配布・インストールできる仕組みです。Helmfile は複数の Helm リリースを宣言的にまとめて管理し、環境ごとの差分を扱いやすくするためのツールです。
- Kubernetes
- Helm
- Helmfile
- Argo CD
- SRE
AI 時代のコードレビュー Tips ─ Cursor で実践する構造可視化と定型作業の自動化 [DeNA インフラ SRE]
こんにちは。IT 本部 IT 基盤部第三グループの前田洋太です。 近年、AI によるコード生成ツールの進化は目覚ましく、開発現場ではコードの実装速度が飛躍的に向上しています。しかし、その一方で、高速化された実装プロセスにコードレビューが追いつかず、開発全体のボトルネックとなるケースが増えているのではないでしょうか。AI が生成するコードの量は日々増加し、レビュアーは増え続けるコード量の中から機能間の依存関係や全体構造を把握し、品質を保証しなければなりません。特に、アプリケーションコードのレビューに慣れていない我々インフラエンジニアなどにとって、この負荷は大きく、的確なレビューを行うことは容易ではありません。
- Cursor
- AI
- コードレビュー
- SRE