개발/Kafka

[Apache Kafka] 설치 및 실행

개요 Apache Kafka는 대규모 실시간 데이터 스트리밍 및 메시징 플랫폼입니다. 이는 대량의 데이터를 안정적으로 처리하고, 여러 시스템 간에 데이터를 신속하게 전송하고, 실시간으로 데이터를 처리할 수 있는 기능을 제공합니다. Kafka는 분산형 publish-subscribe 메시지 큐로서, 데이터를 프로듀서(Producer)가 생성하고, 이를 컨슈머(Consumer)가 실시간으로 읽을 수 있도록 하는 시스템입니다. 이 메시지 시스템은 여러 토픽(Topic)으로 구성되어 있으며, 각 토픽은 관련된 메시지들의 스트림을 담당합니다. Kafka의 주요 특징 중 하나는 높은 확장성과 내결함성을 가지고 있다는 것입니다. 이는 Kafka 클러스터를 통해 데이터의 병렬 처리와 분산 저장을 가능하게 하며, 이를 ..