AWS Elsticsearch Nginx 로그 수집

Elasitc Filebeat으부터 Nignx의 로그를 AWS Elasticsearch로 수집할 수 있습니다.

 

AWS Elasticsearch는 filebeat의 oss버전을 설치해야 합니다.

이는 AWS와 Elastic의 라이센스 문제로 AWS는 일반버전을 지원하지 않습니다.

 

filebeat 설치

$curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.10.2-x86_64.rpm
$rpm -vi filebeat-oss-7.10.2-x86_64.rpml

 

/etc/filebeat/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - '/var/log/nginx/*.log'
  fields:
    server_name: myApp
    log_type: nginx

output.elasticsearch:
  hosts: ["https://my-elasticsearch-url.ap-northeast-2.es.amazonaws.com:443"]
  protocol: "https"
  username: "username"
  password: "password"
  index: "log-nginx-%{+yyyy.MM.dd}"

setup.ilm.enabled: false
setup.ilm.check_exists: false
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.settings:
  index.number_of_shards: 1

• filebeat.input:
  • paths: 로그파일의 경로를 입려해주세요.
  • fields: 추가로 수집할 field를 넣어주세요.
• output.elasticsearch:
  • username, passowrd: 관리자에게 받은 사용자 계정입니다.
  • index: index pattern을 넣어주세요.
• setup.template.name: index 를 넣어주세요.
• setup.template.pattern:  index pattern을 넣어주세요.

 

실행

$filebeat setup -e
$systemctl start filebeat