ログ集約 ろぐしゅうやく
簡単に言うとこんな感じ!
何十台ものサーバーやコンテナにログが散らばっていたら、全部を回って探すのは無理だよね。ログ集約は、ばらばらのログを1か所に集めて、まとめて検索できるようにする仕組みだよ。各支店の日報を本社のキャビネットに集める感じ!
ログ集約とは
ログとは、システムが「いつ・何が起きたか」を書き残した記録です。ログ集約(Log Aggregation)は、多くのサーバー・コンテナ・クラウドが出すログを一か所に集めて保存し、横断して検索・分析できるようにする仕組みです。
今は1つのサービスが多数の小さな部品(マイクロサービス)に分かれ、コンテナは作られては消え、中のログも一緒に消えます。外に集めておかないと、「昨日の正午に注文が失敗した原因」を後から追えません。
ログ集約は、オブザーバビリティ(外からシステムの中の状態がわかること)の柱の一つです。数値のメトリクス、処理の流れを追うトレースと組み合わせて使い、不正アクセスの調査や監査の証拠にもなります。
ログ集約の仕組み
ログ集約は、おおむね次の4つの段階でできています。
| 段階 | やること | 代表的な道具 |
|---|---|---|
| 収集 | 各サーバーやコンテナで拾う | Fluent Bit、Fluentd、OpenTelemetry Collector |
| 転送・整形 | 項目を分け、個人情報を伏せて送る | 同上、Logstash |
| 保存 | 検索できる形でためる | Elasticsearch、Grafana Loki、クラウドのログサービス |
| 検索・通知 | 絞り込み、グラフ、異常時のアラート | Kibana、Grafana、各社の SaaS |
構造化ログ:集める前に「書き方」をそろえる
ただの文章のログは、集めても探しにくいものです。そこで、{"level":"error","service":"order","user_id":1234,"latency_ms":503} のように項目名と値の組(JSON など)で書くのが構造化ログです。「order サービスのエラーだけ」「応答が 500 ミリ秒を超えたものだけ」と項目で絞り込めます。1つの注文に共通のリクエスト ID(追跡番号)を各ログに入れれば、サービスをまたいだ流れもたどれます。
1〜2台でも、ログをサーバーの外に残すことだけはやっておこう。壊れたり、攻撃者に消されたりしたら、原因がわからなくなるからね。
クラウドに付いているログのサービス(AWS なら CloudWatch Logs など)に送るだけでも、立派な第一歩だよ!
いちばん大事なのは「何を・どれくらいの期間・だれが見られるように残すか」。決めておかないと、事故のときに「もう消えていました」となりがち。
それから費用。ログは量に応じてお金がかかるから、1日の量の見込みと上限も聞いておこう。あと、パスワードをログに書かない約束もしてもらうと安心ってこと!
歴史と背景
- 1980年代:UNIX で syslog が生まれ。のちに RFC 3164(2001年)、RFC 5424(2009年)として文書化
- 2010年代前半:Elasticsearch、Logstash、Kibana が登場し、3つを組み合わせた「ELK スタック」がオープンソースの定番になる。同じころ日本発の Fluentd も公開される
- 2016年:Fluentd が CNCF(クラウドネイティブの技術を育てる団体)に加わり、2019年に「卒業」段階へ
- 2018年:Grafana Labs が Loki を発表。ラベル(付箋のような目印)だけに索引を作り、費用を抑える
- 2020年代:OpenTelemetry がログ・メトリクス・トレースの共通の形式を整え、製品を乗り換えやすくなる
主な選択肢の比べ方
| 種類 | 例 | 向いている場面 | 注意点 |
|---|---|---|---|
| 全文検索型 | Elasticsearch/OpenSearch+Kibana | 自由な検索・分析 | 運用の手間と費用が大きい |
| ラベル索引型 | Grafana Loki | 費用を抑えたい | 本文の自由検索は遅め |
| クラウド付属 | CloudWatch Logs など | 1つのクラウドで完結 | 複数クラウドだと分かれる |
| SaaS | Datadog、Splunk など | 運用を任せたい | 量に応じた課金が膨らみやすい |
攻撃の監視が目的なら、SIEM と組み合わせます。
実務のポイント
- 集める範囲(アプリ、サーバー、認証、クラウドの操作記録)を決めたか
- 保存期間を、障害調査・監査・業界基準(例:PCI DSS)から決めたか
- 構造化ログとリクエスト ID を要件に入れたか
- パスワードや個人情報をログに書かない、または伏せるようにしたか
- 見られる人を絞り、消したり書き換えたりできないようにしたか
- 1日のログ量の見込みと月額費用の上限を確かめたか
- サーバーの時刻を合わせたか(ずれると順番が追えない)
関連する規格・RFC
| 規格・RFC番号 | 内容 |
|---|---|
| RFC 5424 | The Syslog Protocol。syslog のメッセージ形式 |
| RFC 5425 | syslog を TLS で暗号化して送る方法 |
| NIST SP 800-92 | コンピュータのセキュリティログ管理の手引き |
| OpenTelemetry Logs | ログをトレース・メトリクスと共通の形で扱う仕様 |
参考文献・外部リンク
- OpenTelemetry:ログの考え方 — 構造化ログとトレースとの結びつけ方の解説
- Fluent Bit 公式サイト — 軽量なログ収集・転送の道具
- Fluentd 公式サイト — 日本発のログ収集の道具
- Grafana Loki — ラベル索引型のログ集約の仕組み
関連用語
- オブザーバビリティ — ログ・メトリクス・トレースでシステムの中を見えるようにする考え方
- 分散トレーシング — 1つの処理がサービスをまたぐ流れを追う技術
- ELK Stack — Elasticsearch・Logstash・Kibana の組み合わせ
- OpenTelemetry — ログ・メトリクス・トレースの共通の仕様と道具
- ログ設計 — 何をどの形でログに書くかの設計
- マイクロサービスアーキテクチャ — サービスが分かれるほどログ集約が欠かせなくなる
- SRE — ログを使って障害の原因を突き止め、再発を防ぐ運用の考え方
- SIEM — 集めたログから攻撃の兆しを見つける仕組み