1. 성능과 안정성을 위한 운영 클러스터

1. 노드 구성 계획

• 최소 3개의 마스터 노드
• (예상되는 용도와 부하에 따라) 최소 2개의 데이터 노드
• 인덱싱 부하량, 검색 부하량 등을 고려한 인제스트 / 코디네이팅 전용 노드 추가 여부 고려

2. 하드웨어 선정

• 메모리

  • 샤드 유지, 검색, 집계, 인덱싱, 코디네이팅 전반적인 영역에서 많은 메모리를 사용한다.
  • 이상적인 메모리는 64GB-단일 노드에 대해 충분한 힙 크기를 활용할 수 있다.

• CPU

  • ES가 분산 병렬 처리에 최적화된 제품이기 때문에 코어수가 많은 CPU가 적합하다.
  • 무거운 집계나 인덱싱은 CPU 성능이 병목이 될 수도 있다.

• 디스크

  • SSD를 권장.
  • HDD를 사용할 경우 RPM이 빠른 제품을 선택한다.
  • 세그먼트를 읽고 쓰기 위해 디스크 IO가 빈번하기 때문에 최대한 빠른 디스크 성능을 선택한다.
  • RAID 0으로 디스크 성능 향상을 꾀하는건 괜찮지만 기타 미러링 정책은 선택하지 않는 편이 좋다.
  • 소프트웨어적으로 데이터 손실에 대한 충분한 대비가 되어 있으므로, 미러링 정책은 성능 저하나 장애 요인이 될 수도 있다.

• 하드웨어 통일

  • 각 노드들의 하드웨어 성능을 통일하는 것이 좋다.

    • 검색의 총 시간=가장 느린 노드가 코디네이팅 노드로 결과를 전달한 시간+@

  • 하드웨어 성능이 통일하지 않다면→ 웜노드, 콜드 노드를 구분해 서로 다른 타입의 노드끼리는 동일 인덱스를 공유하지 않게 한다.

  • 마스터 노드 - 관리해야 하는 클러스터의 규모에 따라

    코디네이팅 노드 - 예상되는 API 요청량에 따라

    인제스트 노드 - 예상되는 인덱싱 요청량과 파이프라인의 복잡도에 따라

    적절한 하드웨어를 선택한다.

• 스냅샷 처리

  • S3 같은 클라우드 저장소는 하드웨어에 대해 고민할 필요가 없어 좋다.
  • 저렴한 기간, 오랜기간 보관 하는 것이 중요하므로 용량을 기준으로 선정하는 것이 좋다.
  • 스냅샷 생성시 각 노드에서 스냅샷 저장소로 직접적으로 파일 복사를 하므로, 스냅샷 저장소는 모든 노드에서 접근 가능하도록 네트워크 공유 드라이브를 구성해야 한다.

1. 엘라스틱서치 버전 선정

• 다른 클러스터와 호환성을 고려하거나 낮은 메이저 버전의 백업 데이터를 활용하는 경우 등을 제외하고 가장 최신 버전을 사용하는 것이 좋다.
• 마지막 자리인 패치 버전이 0 인 경우(x.x.0)는 버그가 포함될 가능성이 높기 때문에 다음 패치 버전을 기다리는 것이 좋다.

2. 클러스터 구성

1. 노드 설치

• 클러스터 구성을 위한 엘라스틱 설정

  • cluster.name: 클러스터의 이름 지정. 같은 클러스터로 묶기 위해서는 반드시 클러스터 명을 통일해야 하고, 다른 클러스터와의 간섭을 방지하기 위해 고유한 명칭을 지정한다.

  • node.name: 노드의 이름 지정. 단일 클러스터 안에서 반드시 노드마다 다른 명칭이 부여돼야 한다.

  • network.host: 노드가 배포될 네트워크 호스트를 지정한다. 일반적인 IPv4, IPv6 주소 외에도 local, site, global 값을 이용해 각각 로컬, 내부, 외부 네트워크를 자동으로 지정할 수 있다.

  • http.port: HTTP통신에 사용할 포트를 지정한다. ES 의 REST API에 접근하기 위한 포트.

  • transport.port: 트랜스포트 계층 통신에 사용할 포트를 지정한다. 클러스터 내부에서 노드끼리 통신할 때 사용되는 포트이므로 별도의 외부 클라이언트가 접근할 필요가 없는 포트다.

  • discovery.seed_hosts: 클러스터 구성을 위해서 다른 노드를 발견해야 한다. seed_hosts는 이때 사용되는 상대 노드 주소들이다.

    (단지 클러스터 구성을 위한 시드일 뿐이므로 모든 노드의 주소를 등록할 필요는 없다. 마스터 노드가 없다면 클러스터링이 이뤄지지 않으므로 마스터 후보 노드들만 등록해두면 충분하다.) 내부 통신이기 때문에 주소 뒤에 트랜스포트 포트를 적어줘야 한다.

  • cluster.initial_master_nodes: 클러스터 최초 구성 시에만 사용되는 설정으로, 초기 마스터 후보 노드들이 클러스터를 이루면 이후 노드가 추가/이탈 됨에 따라 내부적으로 마스터 후보 노드 정보를 관리하게 된다. 이 설정에 들어가는 내용은 호스트 주소가 아니라 node.name이어야 한다.

1. 개발 모드와 운영 모드