개발/Kafka

[Apache Kafka] sink connector 오류 수정

sink connector를 설정 후 connect를 실행할때 아래와 같이 mysql driver를 못찾아서 에러가 발생했습니다. mysql connector 다운로드 사이트 에서 최신 mysql connector를 다운받습니다. os를 Platform Independent를 선택 후 zip버전을 다운로드 하고 압축을 풀면 mysql-connector-j-8.2.0.jar 파일이 존재합니다. 해당 jar파일을 kafka폴더\lib 폴더로 옮겨줍니다. 저는 D:\tools\kafka_2.13-3.6.0\libs 경로로 옮겨줬습니다. 그리고 다시 시작하면 에러가 해결된 것을 확인할 수 있습니다. 참고자료 https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc..

[Apache Kafka] topic 삭제 후 재생성시 producer 동작 안하는 현상

이전포스팅처럼 topic을 삭제 후 동일한 이름으로 topic을 다시 생성 시 producer가 동작을 안하는 현상이 있습니다. topic 정보를 확인해보면 topic의 고유 TopicId값을 확인할 수 있습니다. .\kafka-topics.bat --describe --bootstrap-server=localhost:9092 해당 TopicId값은 D:\tmp\kafka-logs\토픽명\partition.metadata 파일을 열어보면 topic_id값이 있는데 해당값이랑 일치해야 producer가 동작을 합니다. partition.metadata 파일의 topic_id값을 topic 정보에서 확인한 값과 일치시킨후 zookeeper, kafka를 다시 시작하면 producer가 정상적으로 동작하는것을..

[Apache Kafka] CMAK 웹사이트

이전포스팅에서 CMAK 설치 방법과 웹사이트를 띄우는 것까지 알아보았습니다. 이번에는 CMAK 웹사이트에 대해서 알아보도록 하겠습니다. 최초로 CMAK 웹사이트에 접속하면 Clusters가 하나도 없는 상태입니다. 페이지 상단의 Cluster를 클릭하고 Add Cluster를 클릭합니다. Add Cluster 페이지에서 Cluster Name, Cluster Zookeeper Hosts, Kafka Version 정보를 입력해줘야 합니다. Cluster Name은 Cluster를 구분할 이름, Cluster Zookeeper Hosts는 localhost:2181 (2181 : zookeeper 기본 포트), Kafka Version은 설치된 Kafka의 버전을 입력해주시면 됩니다. Kafka 버전은 아..

[Apache Kafka] 자주 사용하는 명령어

zookeeper 실행 .\zookeeper-server-start.bat ..\..\config\zookeeper.properties zookeeper 종료 .\zookeeper-server-stop.bat kafka 실행 .\kafka-server-start.bat ..\..\config\server.properties kafka 종료 .\kafka-server-stop.bat topic 생성 .\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic syk531 topic 리스트 조회 (zookeeper, kafka가 실행된 상태에서 가능) .\kafka-topics.bat --bootstrap-server=localhost:9092..