[MAC, Kafka] 맥에 Kafka 설치 하고 토픽생성. (Docker, homebrew, Apache)

맥에 Kafka를 설치할 수 있는 방법은 세가지가 있다.

1. Docker
2. homebrew (비추천)
3. Apache에서 다운로드
   https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.12-2.3.0.tgz 

 

 

1. Docker

를 이용해서 다운로드 할때는 Confluent를 이용했다. 

https://docs.confluent.io/current/quickstart/ce-docker-quickstart.html

Confluent Platform Quick Start (Docker) — Confluent Platform

2.Homebrew 

1. Homebrew 설치

(기본적으로 homebrew를 설치해놔야한다. )

 

Zookeeper 설치 Zookeeper는 kafka를 구동하기 위한 필수불가결한 존재이다. Kafka의 컨트롤러선정, 브로커 메타데이터 저장, 토픽 메타데이터 저장, client 할당 정보 저장, 카프카 토픽 ACL(Access Control Lists) 저장 등의 상당히 중요한 역할을 한다. 

 

2. zookeeper 설치

brew install zookeeper

 상기 명령어를  terminal에 입력하면 zookeeper 설치 완료 

 

3. Kafka 설치 

brew install kafka

 

상기 명령어를 terminal에 입력하면 kafka 설치 완료 

 

4. 실행 

brew services start zookeeper
brew services start kafka

 

 

5. Zookeeper & kafka 설정 파일.

 

zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties 
& kafka-server-start /usr/local/etc/kafka/server.properties

 

 

6. Brew 실행 리스트.

brew services list

 

 

3. Apache 에서 kafka 다운로드.

https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.12-2.3.0.tgz

Apache Download Mirrors

 

.tar 파일을 적절한 곳에 압축을 해재하고 아래 명령어 들을 셋팅해주면된다.

 

kafka에서 지원하는 명러어들..

 

1. Zookeeper 실행

./zookeeper-server-start.sh ../config/zookeeper.properties &

 

2. Kafka 실행

./kafka-server-start.sh ../config/server.properties &

 

3. Kafka Topic 생성

./kafka-topics.sh --create --bootstrap-server localhost:2181 --replication-factor 1 --partitions 1 --topic test

 

4. Kafka Producer 실행

./kafka-console-producer.sh --broker-list localhost:9092 --topic test

 

5.Kafka Consumer 실행

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

 

 

2020/11/30 - [Delvelopment/Kafka] - [Kafka] 같은메시지를 반복적으로 소비했던 리밸런싱 이슈 해결 (MAX POLL RECORDS CONFIG = "max.poll.record

2020/10/12 - [Delvelopment/Kafka] - [Kafka] Topic 메세지 보관주기 설정 (MSK)

2020/10/12 - [Delvelopment/Kafka] - [kafka Connect] 주기적으로 수행되는 무거운 쿼리 ALL_OBJECTS (table.poll.interval.ms)

2020/08/21 - [Delvelopment/Kafka] - MQ (Message queue)란?

2020/08/05 - [Delvelopment/Self-MSA구축기] - [Kafka Tool] KaDeck 이용해 Topic, Message생성하기.

2020/06/29 - [Delvelopment/Kafka] - [Spring Boot, kafka] 스프링 프로젝트에 kafka 리스너 적용기.

2020/06/29 - [Delvelopment/Kafka] - [MAC, Kafka] 맥에 Kafka 설치 하고 토픽생성. (Docker, homebrew, Apache)

2020/05/21 - [Delvelopment/Kafka] - [Apache Kafka] Kafka 란?