AWS MSK 메트릭 수집 및 모니터링

MSK도 Prometheus와 연결을 하여 메트릭 수집을 할 수 있습니다.

 

그러기 위해선 먼저 해주어야 할 과정이 있습니다.

• MSK 모니터링 편집에서 오픈 모니터링 Enable 입니다.

 

AWS 콘솔에 접속해서 MSK 클러스터에 들어 간 후, 우측 상단의 작업 박스를 클릭하고 모니터링 편집 을 클릭해서,

아래와 같이 오픈 모니터링 활성화를 해주면 됩니다.

그리고 이제 Prometheus 설정에 아래와 같이 추가를 해준 후 적용을 해주면 됩니다.

(저 같은 경우 Helm 차트를 이용하여 kube-prometheus-stack을 설치하여 values.yaml 파일에서 설정을 변경해주었습니다.)

prometheus:
  prometheusSpec:
    additionalScrapeConfigs:
      - job_name: "msk-JMX-Exporter"
        metrics_path: /metrics
        static_configs:
          - targets: 
            - <브로커 주소>:11001
      - job_name: "msk-Node-Exporter"
        metrics_path: /metrics
        static_configs:
          - targets:
            - <브로커 주소>:11002

 

그리고 정상적으로 Prometheus가 수집을 하는 지 확인하려면

 

Prometheus UI → 상단의 메뉴 중 Status → Target health 에서 아래 처럼 등록이 되었는지 확인해주면 됩니다.