분류 전체보기

[Docker] [Spring Boot] [Kafka] [ELK] 다른 Docker Container 간 통신

[Docker] Docker에서 Kafka 실행하기 에서 Docker container에 Kafka를 실행했습니다. 그리고 [Docker] Spring boot 환경에서 Docker로 ELK 사용하기 에서 Docker container에 ELK를 실행했습니다. 이번에는 다른 Docker container에서 실행되는 Kafka와 Logstash가 네트워크가 연결되게 설정을 변경하고 Spring boot와 Kafka가 연결되게 설정을 하겠습니다. 1. Kafka compose.yml 파일 수정 version: "3.5" networks: shared_network: name: my_network driver: bridge volumes: kafka_data: driver: local services: ka..

[Docker] Docker에서 Kafka 실행하기

Kafka 서버 비정상적 종료 에러 해결 에서 로그 폴더를 삭제 하는 방향으로 에러를 해결했는데 동일 에러가 다시 발생해서 Kafka를 Linux OS에서 실행하기 위해서 Docker에서 Kafka가 실행되게 변경하였습니다. 1. compose.yml 파일 작성 version: "3" volumes: kafka_data: driver: local services: kafka: image: 'bitnami/kafka:3.6.1' ports: - '9092:9092' environment: - KAFKA_CFG_NODE_ID=0 - KAFKA_CFG_PROCESS_ROLES=controller,broker - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:909..

Apache Kafka Raft(KRaft) 소개(ZooKeeper 제거)

Apache Kafka Raft(KRaft)는 Kafka 2.8 버전에서 도입된 중요한 기능 중 하나입니다. Kafka 2.8 버전부터 KRaft (Kafka Raft 메타데이터 모드)라는 이름으로 알려진 이 기능은 Kafka의 클러스터 메타데이터 관리를 위한 새로운 방식을 제공합니다. 이전까지 Kafka는 메타데이터 관리를 위해 Zookeeper에 의존해 왔지만, KRaft 모드는 Kafka가 Zookeeper 없이 독립적으로 클러스터 메타데이터를 관리할 수 있게 해줍니다. Raft 프로토콜이란? Raft는 분산 시스템에서 높은 가용성을 보장하면서 일관된 상태를 유지하기 위해 설계된 합의 알고리즘입니다. Raft는 분산된 노드 간에 안정적인 리더 선출과 로그 복제를 통해 시스템의 일관성을 유지합니다. ..

[Docker] Dockerfile와 docker compose 파일의 차이

Dockerfile과 docker-compose.yml 파일은 Docker 환경에서 사용되는 두 가지 중요한 파일 유형이며, 각각 다른 목적과 기능을 가지고 있습니다. Dockerfile 목적: Dockerfile은 단일 Docker 이미지를 빌드하기 위한 명세서입니다. 이 파일에는 베이스 이미지 선택, 추가 파일 복사, 환경 변수 설정, 필요한 소프트웨어 설치, 컨테이너 실행 시 실행할 명령어 등 이미지를 생성하기 위한 모든 명령어가 포함되어 있습니다. 기능: Docker 이미지를 생성합니다. 이 이미지는 애플리케이션과 그 애플리케이션을 실행하는 데 필요한 모든 종속성을 포함합니다. 이미지는 컨테이너를 생성하는 데 사용됩니다. 사용 예시: Dockerfile은 보통 애플리케이션 개발 과정에서 특정 서비..