분류 전체보기

[Logstash] multi pipeline 구성하기 + kafka 메세지를 logstash input으로 받기

개요 Spring boot 환경에서 Docker로 ELK 사용하기 에서 Docker 환경에서 ELK를 실행하였습니다. 기존에는 Logstash는 아래와 같이 단일 파이프라인으로 구성했었는데 멀티 파이프라인으로 수정해보도록 하겠습니다. input { tcp { port => 5000 codec => json_lines } } output { elasticsearch { hosts => "elasticsearch:9200" user => "elastic" password => "elastic123!@#" index => "logstash-%{+YYYY.MM.dd}" } } Logstash 멀티 파이프라인 설정을 통해 여러 독립적인 파이프라인을 한 Logstash 인스턴스에서 실행할 수 있습니다. 이 기능은 ..

[ELK][Logstash] Failed to fetch X-Pack information from Elasticsearch 오류 수정

Docker 환경에서 ELK를 실행할때 Logstash Container에서 아래와 같이 에러가 발생했습니다. [2024-02-06T02:11:36,846][ERROR][logstash.monitoring.internalpipelinesource] Failed to fetch X-Pack information from Elasticsearch. This is likely due to failure to reach a live Elasticsearch cluster. 해당 에러는 X-Pack 보안 기능이 활성화된 경우 CA, Private key 설정이 안되있을 경우 발생합니다. X-Pack 보안 기능을 사용 안한다면 아래와 같이 XPACK_MONITORING_ENABLED=false 설정을 추가해주면 됩..

[Spring Integration][Spring Boot Test] Socket 통신 테스트 시 빈 데이터 전송 해결

[Spring Integration][Spring Boot Test] Socket 통신 테스트 시 빈 데이터 전송 이슈를 해결하기 위해서 주말동안 삽질을 많이 했는데 해결은 간단하게 되었습니다. [Spring Integration] Multi TCP server 구현에서 AbstractServerConnectionFactory를 만들때 아래와 같이 하나는 TcpNetServerConnectionFactory(동기식)를 사용하고 다른 하나는 TcpNioServerConnectionFactory(비동기식)를 사용해서 만들었습니다. @Bean public AbstractServerConnectionFactory server1ConnectionFactory(Server1Serializer serializer) ..

[Spring Integration][Spring Boot Test] Socket 통신 테스트 시 빈 데이터 전송 이슈

Spring Integration으로 TCP server가 개발되있고 Spring Boot Test 로 Socket 통신을 테스트 할때 data가 비어서 전송되는 이슈가 있습니다. 아래와 같이 Test 함수를 실행하였습니다. @Test void testTcpSend() throws IOException { Socket socket = new Socket("localhost", 8084); OutputStream output = socket.getOutputStream(); byte[] data = {0x02}; output.write(data); socket.close(); } server에서는 아래와 같이 전송된 데이터 로그를 찍게 하였습니다. System.out.println("byte : " + i..