Spring boot 프로젝트에서 kafka를 consume 할때 역직렬화 에러 메세지 반복 현상 해결

개요

Spring boot 프로젝트에서 kafka를 consume(구독)할때 kafka topic의 데이터를 역직렬하는 형식과 consumer 함수에서 인자로 받는 데이터 형식이 다르면 에러 메세지가 무한히 반복되게 됩니다.

이런 경우 ErrorHandlingDeserializer를 사용하면 에러 메세지가 무한히 반복되지 않습니다. ErrorHandlingDeserializer는 Apache Kafka의 Consumer에서 메시지를 역직렬화할 때 발생하는 예외를 처리하기 위한 디코더의 한 유형입니다. 이 디코더는 Kafka Consumer에게 더 나은 오류 처리 기능을 제공하여 예외를 처리하고 데이터 손실을 방지합니다.

Kafka Consumer는 메시지를 읽을 때 해당 데이터를 역직렬화하여 원래 형식으로 변환해야 합니다. 그러나 종종 잘못된 데이터 또는 예상치 못한 데이터 형식으로 인해 역직렬화 중에 예외가 발생할 수 있습니다. 이 예외는 기본적으로 Consumer에 의해 처리되지만, 이를 개선하고자 ErrorHandlingDeserializer를 사용할 수 있습니다.

 

 

ErrorHandlingDeserializer  설정 방법

application.yml 파일에 value-deserialize를 ErrorHandlingDeserializer로 설정하고 properties.spring.deserializer.value.delegate.class 에 실제로 사용할 디코더를 설정해주면 됩니다.

spring:
  kafka:
    bootstrap-servers: "localhost:9092"
    consumer:
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
      properties:
        spring:
          json:
            trusted:
              packages: "*"
          deserializer:
            value:
              delegate:
                class: org.springframework.kafka.support.serializer.JsonDeserializer

 

 

참고자료

https://velog.io/@_koiil/SpringBoot-Kafka

https://sejoung.github.io/2022/02/2022-02-10-ErrorHandlingDeserializer/#ErrorHandlingDeserializer-%EC%84%A4%EC%A0%95