728x90 elasticsearch7 AWS Elasticsearch 샤드 제한 AWS Elasticsearch 운영중 샤드가 모두 차서 로그수집이 되지 않았다. AWS 는 노드 1개당 1000개의 샤드를 생성할 수 있는데 이는 수정 가능하다. 자세한 사항은 아래 문서에서 확인 가능하다. https://docs.aws.amazon.com/ko_kr/opensearch-service/latest/developerguide/sizing-domains.html 아마존 오픈 검색 서비스 도메인 크기 조정 - Amazon OpenSearch Service(Amazon Elasticsearch Service 후속) 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.a.. 2021. 10. 15. Kibana에서 Webhook으로 알람받기 개요 Elasticsearch 시각화 도구인 Kibana를 통해서 서버에서 전송받은 알람중 특정 패턴에 트리거를 걸어서 알람을 받을 수 있습니다. 이번 글에서는 서버에서 500에러가 발생했을때 슬랙이나 잔디등으로 알람을 받을 수 있는 Webhook으로 알람을 전달하겠습니다. Elasticsearch Alerting 설정 Destinations 등록 Webhook을 등록합니다. Webhook URL은 미리 복사해 두세요. Webhook URL을 입력합니다. 저는 Slack을 통한 webhook을 등록했습니다. Monitor 등록 어떤 대상을 모니터링 할 것인지 등록합니다. 저는 API서버에서 500에러를 모니터링 하겠습니다. 'Monitor name'에 이름을 등록합니다. 'Method of definit.. 2021. 9. 26. AWS Elasticsearch 10MB 제한 AWS Elasticsearch는 인스턴스 유형에 따라 네트워크 제한이 있습니다. https://docs.aws.amazon.com/opensearch-service/latest/developerguide/limits.html 프리티어나 가볍가 사용하려면 10MB 제한 내에서 사용해야되는데 Logstash 기본값은 20MB로 보내기 때문에 데이터가 많아지면 Elasticsearch에 저장이 되지 않습니다. Logstash에서 보내는 용량을 조절하기 위해서는 https://github.com/awslabs/logstash-output-amazon_es 플러그인을 설치하면 보내는 용량을 조절할 수 있습니다. 저는 EC2에 Docker logstash를 설치 했었는데 플러그인 설치과정에서 에러가 발생했습니다... 2021. 9. 26. Logstash output 분리 Logstash에서 들어오는 데이터를 구분하여 Elasticsearch Index로 분리해서 저장할 수 있습니다. output { if 조건 { ... } else if 조건 { ... } else { ... } 위와 같이 처리할 수 있습니다. 아래는 제가 적용한 logstash.conf의 예시 입니다. input { tcp { port => 5000 codec => json_lines } } output { if [log_type] and [server_name]{ elasticsearch { hosts => ["https://....es.amazonaws.com:443"] ssl => true index => "log-%{[server_name]}-%{[log_type]}-%{+YYYY.MM.dd}".. 2021. 9. 26. 이전 1 2 다음 반응형
