전체 글

[Spring Boot][Mybatis][MariaDB] Bulk Update 방법

Bulk Update 소개 bulk update는 데이터베이스의 여러 레코드를 한 번에 업데이트하는 성능 최적화와 서버 자원의 효율적 사용에 있어 중요한 기법 중 하나입니다. 이 접근 방식은 네트워크 호출과 데이터베이스 I/O 작업을 줄여 전체 애플리케이션의 성능을 향상시킬 수 있습니다. Bulk Update의 장점 성능 향상: 단일 쿼리로 여러 레코드를 업데이트함으로써 네트워크 지연 시간과 데이터베이스 서버의 부하를 줄일 수 있습니다. 이는 특히 대량의 데이터를 처리할 때 성능 이점을 제공합니다. 자원 사용 최적화: 데이터베이스 연결과 네트워크 자원의 사용을 최적화하여 서버 자원을 보다 효율적으로 사용할 수 있습니다. 일관성 유지: @Transactional 어노테이션을 사용하여 bulk update ..

[Logstash] multi pipeline 구성하기 + kafka 메세지를 logstash input으로 받기

개요 Spring boot 환경에서 Docker로 ELK 사용하기 에서 Docker 환경에서 ELK를 실행하였습니다. 기존에는 Logstash는 아래와 같이 단일 파이프라인으로 구성했었는데 멀티 파이프라인으로 수정해보도록 하겠습니다. input { tcp { port => 5000 codec => json_lines } } output { elasticsearch { hosts => "elasticsearch:9200" user => "elastic" password => "elastic123!@#" index => "logstash-%{+YYYY.MM.dd}" } } Logstash 멀티 파이프라인 설정을 통해 여러 독립적인 파이프라인을 한 Logstash 인스턴스에서 실행할 수 있습니다. 이 기능은 ..

[ELK][Logstash] Failed to fetch X-Pack information from Elasticsearch 오류 수정

Docker 환경에서 ELK를 실행할때 Logstash Container에서 아래와 같이 에러가 발생했습니다. [2024-02-06T02:11:36,846][ERROR][logstash.monitoring.internalpipelinesource] Failed to fetch X-Pack information from Elasticsearch. This is likely due to failure to reach a live Elasticsearch cluster. 해당 에러는 X-Pack 보안 기능이 활성화된 경우 CA, Private key 설정이 안되있을 경우 발생합니다. X-Pack 보안 기능을 사용 안한다면 아래와 같이 XPACK_MONITORING_ENABLED=false 설정을 추가해주면 됩..

[Spring Integration][Spring Boot Test] Socket 통신 테스트 시 빈 데이터 전송 해결

[Spring Integration][Spring Boot Test] Socket 통신 테스트 시 빈 데이터 전송 이슈를 해결하기 위해서 주말동안 삽질을 많이 했는데 해결은 간단하게 되었습니다. [Spring Integration] Multi TCP server 구현에서 AbstractServerConnectionFactory를 만들때 아래와 같이 하나는 TcpNetServerConnectionFactory(동기식)를 사용하고 다른 하나는 TcpNioServerConnectionFactory(비동기식)를 사용해서 만들었습니다. @Bean public AbstractServerConnectionFactory server1ConnectionFactory(Server1Serializer serializer) ..