AWS Elasticsearch 샤드 제한

AWS Elasticsearch 운영중 샤드가 모두 차서 로그수집이 되지 않았다.

AWS 는 노드 1개당 1000개의 샤드를 생성할 수 있는데 이는 수정 가능하다.

 

자세한 사항은 아래 문서에서 확인 가능하다.

https://docs.aws.amazon.com/ko_kr/opensearch-service/latest/developerguide/sizing-domains.html

아마존 오픈 검색 서비스 도메인 크기 조정 - Amazon OpenSearch Service(Amazon Elasticsearch Service 후속)

 

 

index하나에 10개의 샤드가 생성되는데 로그특성상 인덱스를 날짜별로 생성하다보니 이런 문제가 발생했다.

우선 샤드 최대치를 3000개로 늘렸다.

# 수정
put _cluster/settings
  {
    "persistent": {
      "cluster.max_shards_per_node": "3000"
    }
  }
  
 # 확인
 get _cluster/settings?pretty