728x90 Elk4 Kibana에서 Webhook으로 알람받기 개요 Elasticsearch 시각화 도구인 Kibana를 통해서 서버에서 전송받은 알람중 특정 패턴에 트리거를 걸어서 알람을 받을 수 있습니다. 이번 글에서는 서버에서 500에러가 발생했을때 슬랙이나 잔디등으로 알람을 받을 수 있는 Webhook으로 알람을 전달하겠습니다. Elasticsearch Alerting 설정 Destinations 등록 Webhook을 등록합니다. Webhook URL은 미리 복사해 두세요. Webhook URL을 입력합니다. 저는 Slack을 통한 webhook을 등록했습니다. Monitor 등록 어떤 대상을 모니터링 할 것인지 등록합니다. 저는 API서버에서 500에러를 모니터링 하겠습니다. 'Monitor name'에 이름을 등록합니다. 'Method of definit.. 2021. 9. 26. AWS Elasticsearch 10MB 제한 AWS Elasticsearch는 인스턴스 유형에 따라 네트워크 제한이 있습니다. https://docs.aws.amazon.com/opensearch-service/latest/developerguide/limits.html 프리티어나 가볍가 사용하려면 10MB 제한 내에서 사용해야되는데 Logstash 기본값은 20MB로 보내기 때문에 데이터가 많아지면 Elasticsearch에 저장이 되지 않습니다. Logstash에서 보내는 용량을 조절하기 위해서는 https://github.com/awslabs/logstash-output-amazon_es 플러그인을 설치하면 보내는 용량을 조절할 수 있습니다. 저는 EC2에 Docker logstash를 설치 했었는데 플러그인 설치과정에서 에러가 발생했습니다... 2021. 9. 26. Logstash output 분리 Logstash에서 들어오는 데이터를 구분하여 Elasticsearch Index로 분리해서 저장할 수 있습니다. output { if 조건 { ... } else if 조건 { ... } else { ... } 위와 같이 처리할 수 있습니다. 아래는 제가 적용한 logstash.conf의 예시 입니다. input { tcp { port => 5000 codec => json_lines } } output { if [log_type] and [server_name]{ elasticsearch { hosts => ["https://....es.amazonaws.com:443"] ssl => true index => "log-%{[server_name]}-%{[log_type]}-%{+YYYY.MM.dd}".. 2021. 9. 26. [ELK Stack 로그 수집 1/4] AWS Elasticsearch Service 설치 개요 Spring Boot 애플리케이션의 자체 로그 수집 시스템을 빠르게 구축하는 것이 목표입니다. 검색 및 시각화가 손쉬운 Elastic ELK(Elasticsearch, Logstash, Kibana)를 AWS 통해서 빠르게 구축할 것입니다. AWS Elasticsearch Service 설치 AWS와 Elastc과 라이센스 분쟁으로 AWS Elasticsearch는 AWS OpenSearch로 서비스명이 바뀌었습니다. 도메인 생성 새로운 도메인을 생성합니다. 배포 유형 선택 배포유형은 '개발 및 테스트'로 선택해주세요. 나중에 서비스가 커지면 변경할 수 있습니다. 버전은 'Elasticsearch 7.10'으로 합니다. OpenSearch가 아직 1.0 버전이기도 하고 Logstash 및 Fileb.. 2021. 9. 10. 이전 1 다음 반응형
