개발/Kafka

[Apache Kafka] CMAK 설치 방법

개요 Kafka Cluster Manager (CMAK)는 Apache Kafka 클러스터를 관리하기 위한 웹 인터페이스 도구입니다. 이 도구는 이전에는 Kafka Manager라고 불렸으며, Kafka 클러스터의 모니터링, 관리, 설정, 토픽 관리 등을 할 수 있도록 도와줍니다. CMAK은 Kafka 클러스터를 관리하기 쉽게 해주는 여러 기능을 제공합니다. 몇 가지 주요 기능은 다음과 같습니다. 1. 토픽 관리 : 새로운 토픽 생성, 토픽 설정 변경, 삭제 등을 할 수 있습니다. 2. 브로커 관리 : 브로커의 상태를 모니터링하고, 브로커들 간의 리더십(partition leader) 및 복제(replication) 상태를 확인할 수 있습니다. 3. 컨슈머 그룹 관리 : 컨슈머 그룹의 오프셋(offset..

[Apache Kafka] connect, connector

Kafka connect는 Kafka와 다른 데이터 시스템(ex DB, elastic search 등) 간에 확장 가능하고 안정적으로 데이터를 스트리밍하기 위한 도구입니다. 데이터 소스와 Kafka 토픽 사이의 데이터 이동을 쉽게 관리하고 스트리밍 데이터 파이프라인을 구축하는 데 도움이 됩니다. connector는 데이터를 Kafka로 가져오거나 Kafka에서 가져와 외부 시스템으로 보내는 플러그인입니다. Kafka connect는 내장된 커넥터 외에도 다양한 커넥터를 제공하며, 사용자 정의 커넥터를 개발하여 특정 데이터 소스와 통합할 수 있습니다. 아래의 명령어로 connect를 실행할 수 있습니다..\connect-distributed.bat ..\..\config\connect-distrib..

[Apache Kafka] topic 삭제 방법

zookeepaer shell를 실행합니다. ls /brokers/topics 명령어를 통해 현재 존재하는 topic을 확인할 수 있습니다. delete /brokers/topics/topic명 명령어를 통해 topic을 제거할 수 있습니다. 만약 topic에 메세지가 존재한다면 deleteall /brokers/topics/topic명 명령어를 통해 제거할 수 있습니다. kafka-topics를 통해서도 topic을 지워줍니다. .\kafka-topics.bat --delete --bootstrap-server localhost:9092 --topic 토픽명

[Apache Kafka] Spring boot에 Kafka 적용해보기

개요 이전포스팅에서 Windows 환경에 Kafka를 설치하고 cmd를 통해서 Zookeeper와 Kafka를 실행하고 producer로 메세지를 전송하고 consumer 메세지를 전달받는 테스트를 해보았습니다. 이번 포스팅에서는 Spring boot 환경에서 로컬환경에 설치된 Kafka를 이용해서 하나의 어플리케이션에서 producer 코드와 consumer 코드를 통해서 메세지를 Kafka로 전달하고 Kafka로 부터 메세지를 전송받게 해보겠습니다. Kafka 적용 Spring에서 Kafka를 사용할 수 있게 build.gradle 파일에 dependency를 추가해줍니다. implementation 'org.springframework.kafka:spring-kafka' application.yml..