[kafka] 프로메테우스 + 그라파나 + kafka exporter

 

 

 

1. Kafka Exporter 를 다운로드 받아 압축을 풀고 실행한다. https://github.com/danielqsj/kafka_exporter/releases

Releases · danielqsj/kafka_exporter

 

# MacBook 에서 kafka exporter 실행시 “개발자를 확인할 수 없기 때문에….” 메세지가 나오는 경우
# xattr ./kafka_exporter
# xattr -d com.apple.quarantine ./kafka_exporter
./kafka_exporter --kafka.server=localhost:9092 --kafka.server=localhost:9093 --kafka.server=localhost:9094

 

 

2. Prometheus 를 다운로드 받아 압축을 풀고 실행한다. https://prometheus.io/download/

Download | Prometheus

# 파일 끝에 추가
vi ./prometheus.yml
 - job_name: "kafka-exporter"
 static_configs:
 - targets:
 - localhost:9308

# MacBook 에서 prometheus 실행시 “개발자를 확인할 수 없기 때문에…” 메세지가 나오는 경우
# xattr ./prometheus
# xattr -d com.apple.quarantine ./prometheus
./prometheus

 

3. Grafana 를 다운로드 받아 압축을 풀고 실행한다. https://grafana.com/grafana/download?pg=get&plcmt=selfmanaged-box1-cta1

Download Grafana | Grafana Labs

bin/grafana-server web

 

4. Configuration → Add data source 에서 Prometheus 선택하고,

URL 에 http://localhost:9090 입력후 Save 5. Import Dashboard 에서 grafana.com 에 이미 등록되어 있는

kafka exporter Overview Dashboard (id=7589) 를 import

 

 

프로메테우스

localhost:9090,

그라파타

localhost:3000

초기 아이디/비번 : admin:admin

 

 

 

임시트래픽 생성

./kafka-verifiable-producer.sh --topic topic3 --max-messages 1000000 --bootstrap-server localhost:9092

./kafka-verifiable-producer.sh --topic topic3 --max-messages 1000000 --bootstrap-server localhost:9092