Prometheus はメトリクスを保存してクエリするもので、日々それを見る場所になることを意図したものではありません。Grafana は、それと最も一般的に組み合わされるダッシュボードのレイヤーです。このガイドでは、両者を接続し、内部で何が起きているかを理解するために 1 つのパネルを手作業で作り、その後、すべてをゼロから作る代わりに、コミュニティのダッシュボードをインポートします。これが、実際の Grafana の使い方のほとんどです。

Prometheus をデータソースとして追加する

# docker-compose.yml (前のガイドのスタックに追加)
  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    ports:
      - "3000:3000"
    volumes:
      - grafana-data:/var/lib/grafana

docker compose up -d の後、http://localhost:3000 を開き、デフォルトの admin / admin でログインします（変更を求められます）。Connections → Data sources → Add new data source でデータソースを追加し、Prometheus を選び、その URL を http://prometheus:9090 に設定します。これは前のガイドの Compose サービス名で、Grafana と Prometheus は同じ Docker ネットワークを共有しているためです。保存してテストします。接続に成功すれば、その上に何かを構築する前に、Grafana が Prometheus に到達できることが確認できます。

1 つのパネルを手作業で作る

新しいダッシュボードを作成し、ビジュアライゼーションを追加して、Prometheus のデータソースを選択します。PromQL を直接入力する代わりに、Grafana のクエリビルダーを使うと、フィールドごとにクエリを構築でき、クエリが実際に何をしているかを学ぶ妥当な方法になります。

1. メトリクス：node_cpu_seconds_total を選択します。
2. ラベルフィルター：mode != "idle" を追加します。idle モードの CPU 時間は、可視化したい部分ではないからです。node_exporter のインスタンスが 1 つだけなら、job と instance のラベルは何も区別せず、省略できます。複数のホストを監視するようになると重要になります。
3. Grafana は、このような counter にはレート関数を適用する必要があると促します。rate()（または irate()。ただし PromQL のガイドで説明したとおり、デフォルトとしては rate() のほうが安定しています）に切り替え、1m のような時間枠を指定します。
4. Options で、凡例を Auto からカスタム形式の {{mode}} に変更します。そうすると、結果の線が、完全で繰り返しの多いラベルセットの代わりに、system、user、iowait などとラベル付けされます。

パネルに名前を付けて保存し、ダッシュボードに追加します。ビルダーの下には、Grafana が構築した実際の PromQL を表示する Code ビューがあります。一度確認する価値があります。いずれビルダーを使わずに、クエリを直接書けるようになるからです。

2 つ目のパネル：式からのディスク使用量

すべてのパネルが、単一のメトリクスから来るわけではありません。いくつかを組み合わせるものもあります。

node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}

これは、合計サイズから空きバイトを引いて、ルートファイルシステムで実際に使われているバイト数を計算します。一時的な、あるいは仮想のファイルシステムが結果を乱さないよう、ルートのマウントポイントに絞り込んでいます。ビルダーでフィールドごとに構築しようとするのではなく、パネルの Code ビューに直接貼り付けてください。2 つのメトリクス間の演算を伴うものは、通常、ビルダーでクリックするより書くほうが速いです。

ゼロから作る代わりに、コミュニティのダッシュボードをインポートする

すべてのパネルを手作業で作る方法は、追跡する価値のあるメトリクスが数十になるとスケールしません。一般的な exporter については、他の誰かがほぼ確実に、すでに包括的なダッシュボードを作って公開しています。Grafana のダッシュボードライブラリは exporter 名で検索でき、各ダッシュボードには数値の ID があります。

1. 使っている exporter（node exporter、cadvisor）でライブラリを検索し、評価が高く、最近更新されたものを選びます。
2. ダッシュボードの ID をコピーします。
3. Grafana で Dashboards → New → Import に進み、ID を貼り付けて読み込みます。
4. 求められたら Prometheus のデータソースを選択して、インポートします。

これで、CPU、メモリ、スワップ、ディスク I/O、ネットワークエラー、稼働時間などの、完全で事前構築されたパネルのセットが、各パネルを手作業で作ることなく手に入ります。PromQL を学ぶ本当に有用な方法でもあります。インポートしたパネルのエディターを開いて、よく理解しているメトリクスに対して使われているクエリを読んでみてください。ドキュメントを単独で読むより、分かりやすいことがよくあります。

そこからカスタマイズする

インポートしたダッシュボードは出発点であり、最終的な答えではありません。すべてのパネルは完全に編集可能です。ラベルフィルターを調整し、ビジュアライゼーションの種類を変更し、しきい値や色を調整し、不要なパネルを削除します。インポートは、変更せずにそのまま使うか避けるかのどちらかではなく、そこから外へ向かって構築していく足場として扱ってください。