기존(310)/🖲️kafka

1. Kafka Exporter 를 다운로드 받아 압축을 풀고 실행한다. https://github.com/danielqsj/kafka_exporter/releases Releases · danielqsj/kafka_exporter Kafka exporter for Prometheus. Contribute to danielqsj/kafka_exporter development by creating an account on GitHub. github.com # MacBook 에서 kafka exporter 실행시 “개발자를 확인할 수 없기 때문에….” 메세지가 나오는 경우 # xattr ./kafka_exporter # xattr -d com.apple.quarantine ./kafka_exporter ...

SASL/SCRAM (Salted Challenge Response Authentication Mechanism) 1. 주키퍼를 실행시킨 후, 주키퍼에 Broker 간 통신에 사용할 Credential(인증정보) 생성 bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=admin-password]' --entity-type users --entity-name admin 2. 주키퍼에 Producer/Consumer 에서 사용할 Credential(인증정보) 생성 bin/kafka-configs.sh --zookeeper localhost:2181 --alter ..

1. Broker 추가 재배치 할당

관리형 Kafka 서비스 - Amazon MSK 요금 - Amazon Web Services 관리형 Kafka 서비스 - Amazon MSK 요금 - Amazon Web Services MSK Replicator를 사용할 때는 생성한 각 Replicator에 대한 시간당 요금이 부과됩니다. Replicator에는 소스 클러스터, 대상 클러스터 및 몇 가지 선택적 설정이 포함됩니다. 소스 클러스터의 모든 주제를 aws.amazon.com 1. 메시지수신하는 EC2 생성 EC-2 실행순서 Centos 기준 ( 아마존 centos ) sudo yum install -y java-1.8.0-openjdk-devel.x86_64 $ wget https://archive.apache.org/dist/kafka/2...

1. --alter 가 삭제되는 시간 8640000 초 topics 중요내용 kafka-topics.sh --create --topic topic3 --partitions 1 kafka-topics.sh --describe --topic topic3 kafka-topics.sh --alter --topic topic3 --partitions 3 kafka-configs.sh --alter --entity-type topics --entity-name topic3 --add-config retention.ms=86400000 ( -alter 가삭제될때까지 시간초 ) kafka-topics.sh --list 2. producer 중요내용 producer 중요내용 kafka-console-producer.sh..

1. 전체적인 흐름 : 클러스터 1대 , 주키퍼서버 1대 , broker 서버 3개 실행 2. Broker 생성 ( 3가지 ) Broker#0 - server.properties broker.id=0 listeners=PLAINTEXT://localhost:9092 log.dirs/tmp/kafka-logs Broker#1 - server1.properties broker.id=1 listeners=PLAINTEXT://localhost:9093 log.dirs/tmp/kafka-logs1 Broker#2 - server2.properties broker.id=2 listeners=PLAINTEXT://localhost:9094 log.dirs/tmp/kafka-logs2 3. conf/server.pr..