전체 글

[Apache Kafka] connect, connector

Kafka connect는 Kafka와 다른 데이터 시스템(ex DB, elastic search 등) 간에 확장 가능하고 안정적으로 데이터를 스트리밍하기 위한 도구입니다. 데이터 소스와 Kafka 토픽 사이의 데이터 이동을 쉽게 관리하고 스트리밍 데이터 파이프라인을 구축하는 데 도움이 됩니다. connector는 데이터를 Kafka로 가져오거나 Kafka에서 가져와 외부 시스템으로 보내는 플러그인입니다. Kafka connect는 내장된 커넥터 외에도 다양한 커넥터를 제공하며, 사용자 정의 커넥터를 개발하여 특정 데이터 소스와 통합할 수 있습니다. 아래의 명령어로 connect를 실행할 수 있습니다..\connect-distributed.bat ..\..\config\connect-distrib..

[Apache Kafka] topic 삭제 방법

zookeepaer shell를 실행합니다. ls /brokers/topics 명령어를 통해 현재 존재하는 topic을 확인할 수 있습니다. delete /brokers/topics/topic명 명령어를 통해 topic을 제거할 수 있습니다. 만약 topic에 메세지가 존재한다면 deleteall /brokers/topics/topic명 명령어를 통해 제거할 수 있습니다. kafka-topics를 통해서도 topic을 지워줍니다. .\kafka-topics.bat --delete --bootstrap-server localhost:9092 --topic 토픽명

[Apache Kafka] Spring boot에 Kafka 적용해보기

개요 이전포스팅에서 Windows 환경에 Kafka를 설치하고 cmd를 통해서 Zookeeper와 Kafka를 실행하고 producer로 메세지를 전송하고 consumer 메세지를 전달받는 테스트를 해보았습니다. 이번 포스팅에서는 Spring boot 환경에서 로컬환경에 설치된 Kafka를 이용해서 하나의 어플리케이션에서 producer 코드와 consumer 코드를 통해서 메세지를 Kafka로 전달하고 Kafka로 부터 메세지를 전송받게 해보겠습니다. Kafka 적용 Spring에서 Kafka를 사용할 수 있게 build.gradle 파일에 dependency를 추가해줍니다. implementation 'org.springframework.kafka:spring-kafka' application.yml..

[Apache Kafka] 설치 및 실행

개요 Apache Kafka는 대규모 실시간 데이터 스트리밍 및 메시징 플랫폼입니다. 이는 대량의 데이터를 안정적으로 처리하고, 여러 시스템 간에 데이터를 신속하게 전송하고, 실시간으로 데이터를 처리할 수 있는 기능을 제공합니다. Kafka는 분산형 publish-subscribe 메시지 큐로서, 데이터를 프로듀서(Producer)가 생성하고, 이를 컨슈머(Consumer)가 실시간으로 읽을 수 있도록 하는 시스템입니다. 이 메시지 시스템은 여러 토픽(Topic)으로 구성되어 있으며, 각 토픽은 관련된 메시지들의 스트림을 담당합니다. Kafka의 주요 특징 중 하나는 높은 확장성과 내결함성을 가지고 있다는 것입니다. 이는 Kafka 클러스터를 통해 데이터의 병렬 처리와 분산 저장을 가능하게 하며, 이를 ..