개발

Java XSSFWorkbook 클래스 생성 오류 해결 방법 | Apache POI 라이브러리 버전 불일치

Java로 Excel 파일을 생성하기 위해 new XSSFWorkbook()를 실행하는 중 아래와 같은 오류가 발생할 수 있습니다.'org.apache.commons.io.output.UnsynchronizedByteArrayOutputStream$Builder org.apache.commons.io.output.UnsynchronizedByteArrayOutputStream.builder()'이 오류는 Apache POI 라이브러리와 관련된 commons-io 라이브러리 간의 버전 불일치로 인해 발생합니다. 특히, XSSFWorkbook 클래스의 생성자가 UnsynchronizedByteArrayOutputStream.builder() 메소드를 호출할 때, 해당 메소드가 존재하지 않는 경우 이 오류가 ..

Kafka 메시지 삭제 문제 해결 방법: retention.ms 설정 이해하기

Kafka 토픽의 retention.ms=3600000 으로 설정해서 1시간마다 토픽의 메세지가 삭제되게 설정을 했는데 메세지가 시간이 지나도 삭제가 안되었습니다.사유를 확인해보니 Kafka의 메시지는 로그 세그먼트 파일로 저장되는데 메시지 삭제는 로그 세그먼트 단위로 이루어지기 때문에, 해당 세그먼트가 닫히지 않으면 메시지가 삭제되지 않는다고 합니다.Kafka에서는 segment.ms(segment 생성 주기), segment.bytes(segment를 파일 크기)를 통해 신규 segment를 언제 생성할지를 결정합니다.따로 설정 하지 않았으면 아래의 default값으로 설정이 되고 해당 기준에 걸리지 않으면 신규 segment 파일이 생성 안되고 segment 파일이 닫히지 않았기 때문에 토픽의 re..

CentOS 부팅 오류 해결: 파티션 오류 수정 방법

CentOS의 파티션을 조정 후 서버를 재기동후에 접속 시 아래와 같은 에러 메세지가 발생했습니다.해당 에러는 파티션이 설정이 제대로 안되서 발생하는 에러로 root 계정의 비밀번호를 입력 후 /etc/fstab 파일에 문제가 되는 파티션이 있는지 확인합니다. (fstab : file system table) /etc/fstab 파일은 리눅스와 유닉스 계열 운영체제에서 시스템이 부팅될 때 자동으로 마운트해야 할 파일 시스템(디스크 파티션, 네트워크 드라이브 등)을 정의합니다. 이 파일을 통해 시스템 관리자는 어떤 파일 시스템을 어떤 위치에 마운트할지, 그리고 이 파일 시스템이 어떤 옵션으로 마운트될지를 설정할 수 있습니다. 아래의 명령어를 통해 시스템이 부팅될 때 자동으로 마운트하는 파일 시스템을 확인 ..

Kafka 토픽 메시지 삭제: 디스크 공간 확보 방법

Kafka 테스트 중 디스크에 용량이 많이 쌓여서 디스크에서 Kafka Topic의 메세지를 삭제하려고 Kafka UI에서 Clear Messages를 했는데 메세지가 삭제되지 않았습니다.Kafka UI에서 Clear Messages 버튼을 클릭하면, 해당 토픽의 메시지를 삭제하는 것이 아니라 컨슈머 그룹이 해당 토픽의 오프셋(offset)을 가장 최근 메시지의 오프셋으로 이동시키는 작업을 수행합니다. 이는 해당 컨슈머 그룹이 기존에 처리하지 못한 메시지들을 건너뛰고, 최신 메시지부터 읽도록 만드는 것입니다.디스크에 저장된 메시지는 토픽의 설정된 retention period (보관 기간) 또는 retention size (보관 크기)에 따라 일정 시간이 지나거나 특정 크기에 도달했을 때만 자동으로 삭제..