AWS Elasticsearch Index 자동삭제로 용량 관리

Elasticsearch 로그수집중 오래된 로그는 자동으로 Kibana 설정을 통해서 삭제할 수 있습니다.

 

Kibana 'Index Management'로 이동합니다.

 

'State management policies'메뉴에서 'Create policy'로 정책을 생성합니다.

Policy ID를 입력합니다.

 

 

 

 

'Define policy'는 15일 지난 Index에 대해서 삭제하라는 내용입니다.

{
 "policy": {
  "description": "delete old indexes",
  "default_state": "hot",
  "states": [
   {
    "name": "hot",
    "actions": [],
    "transitions": [
     {
      "state_name": "delete",
      "conditions": {
       "min_index_age": "15d"
      }
     }
    ]
   },
   {
    "name": "delete",
    "actions": [
     {
      "delete": {}
     }
    ],
    "transitions": []
   }
  ],
  "ism_template": [
   {
    "index_patterns": [
     "logstash-*"
    ]
   }
  ]
 }
}

'ism_template'에 인덱스 패턴을 넣어주면 앞으로 생성되는 인덱스에 대해서 해당 정책이 자동으로 적용됩니다.

 

메뉴 'Indices'에 기존에 만들었던 인덱스에 정책을 적용하기 위해서 아래와 같이 적용 인덱스를 선택하고 'Apply policy'를 선택합니다.

.kibana_1 등 중요한 인덱스에 적용되지 않게 조심해야합니다.

 

방금 만든 정책을 선택하면 적용됩니다.

 

메뉴 'Policy managed indices'에서 정책이 적용된 인덱스를 확인 할수 있습니다. 정책 실행은 30분 정도 간격으로 실행됩니다.