개발/Elastic Stack

[Logstash] multi pipeline 구성하기 + kafka 메세지를 logstash input으로 받기

개요 Spring boot 환경에서 Docker로 ELK 사용하기 에서 Docker 환경에서 ELK를 실행하였습니다. 기존에는 Logstash는 아래와 같이 단일 파이프라인으로 구성했었는데 멀티 파이프라인으로 수정해보도록 하겠습니다. input { tcp { port => 5000 codec => json_lines } } output { elasticsearch { hosts => "elasticsearch:9200" user => "elastic" password => "elastic123!@#" index => "logstash-%{+YYYY.MM.dd}" } } Logstash 멀티 파이프라인 설정을 통해 여러 독립적인 파이프라인을 한 Logstash 인스턴스에서 실행할 수 있습니다. 이 기능은 ..

[ELK][Logstash] Failed to fetch X-Pack information from Elasticsearch 오류 수정

Docker 환경에서 ELK를 실행할때 Logstash Container에서 아래와 같이 에러가 발생했습니다. [2024-02-06T02:11:36,846][ERROR][logstash.monitoring.internalpipelinesource] Failed to fetch X-Pack information from Elasticsearch. This is likely due to failure to reach a live Elasticsearch cluster. 해당 에러는 X-Pack 보안 기능이 활성화된 경우 CA, Private key 설정이 안되있을 경우 발생합니다. X-Pack 보안 기능을 사용 안한다면 아래와 같이 XPACK_MONITORING_ENABLED=false 설정을 추가해주면 됩..

[Elasticsearch] 라이센스 정책 이슈로 ELK 버전 변경

개요 Spring boot 환경에서 Docker로 ELK 사용하기 포스팅에서 ELK의 버전을 7.17.16을 사용했습니다. ELK 라이센스를 확인해보니 7.10 이전버전, 7.11 버전, 이후 버전의 라이센스 정책이 다른것을 확인했습니다. 7.11 버전부터는 Apache 2.0 라이센스가 아닌 Elastic License와 SSPL 라이센스로 변경되었는데 해당 라이센스는 소스코드를 수정, 활용하여 장사를 하려면 소스코드의 공개 의무가 생긴다고 합니다. 제 경우에는 버전을 변경하여도 이슈가 없을 것 같아서 7.17.16 -> 7.10.1 버전으로 변경하였습니다. compose.yml 파일에서 버전 정보를 변경 후 docker compose up을 실행해보니 kibana가 아래의 에러가 발생하면서 실행이 안..

[Kibana] server.publicBaseUrl 설정

로컬이 아닌 환경에서 kibana에 접속할 시 아래의 이미지처럼 우측 하단에 warning창이 떳습니다. 해당 warning은 외부에서 kibana에 접속할때 발생하는 warning 입니다. kibana.yml 파일에 아래와 같이 server.publicBaseUrl: http://호스트명:5601 설정을 추가해주고 다시 시작해주면 정상적으로 접속되는것을 확인할 수 있습니다.# 키바나 설정파일server.name: kibanaserver.host: "0"server.publicBaseUrl: http://host명:5601# Elasticsearch 서버 정보elasticsearch.hosts: http://elasticsearch:9200elasticsearch.username: "e..