4.1 쿼리 컨텍스트와 필터 컨텍스트

• 쿼리 컨텍스트

  

  • 질의에 대한 유사도 계산 기준으로 정확한 결과 반환
  • 결과값: 연관성에 따른 스코어

• 필터 컨텍스트

  

  • 유사도 계산 X (스코어 계산 X)
    • 속도 향상
    • 캐시
  • 일치 여부에 따른 결과만 반환
  • 결과값: 예/아니요

• 쿼리/필터 조합으로 사용하는 추세임

4.2 쿼리 스트링과 쿼리 DSL

• 쿼리 스트링:
  • 한 줄의 간단한 쿼리
  • 복잡해지면 가독성이 떨어질 수 있음

• 쿼리 DSL:

  

  • 복잡한 쿼리
  • 엘라스틱서치에서 제공하는 쿼리 전용 언어
  • JSON 기반의 직관적인 언어

4.3 유사도 스코어

• 질의문과 도큐먼트의 유사도 표현값
• 높은 스코어 → 높은 연관
• 쿼리에 explain 옵션을 사용해 유사도 스코어 알고리즘을 알 수 있다.
• 기본적으로 BM25 알고리즘 사용

BM25 알고리즘

• 검색, 추천에 많이 사용

• TF + IDF + 문서 길이 를 고려한 알고리즘

• IDF 계산

  • 문서 빈도 : 특정 용어가 얼마나 자주 등장했는지 의미

  • 문서 빈도가 높다 → 중요한 용어가 아님 (ex. 관사, 부사)

  • 문서 빈도의 역수(IDF): 도큐먼트 내에 발생 빈도가 적을수록 가중치를 높여주는 것

    

    n: 3, N: 4675

    • n: 검색했던 용어가 몇 개의 도큐먼트에 있는지
    • N: 인덱스의 전체 도큐먼트 수

• TF 계산

  • 용어 빈도 : 특정 용어가 하나의 도큐먼트에 얼마나 많이 등장했는지 의미

  • 용어 빈도가 높다 → 주제 용어

    

    • feq : 도큐먼트 내에서 용어가 나온 횟수
    • k1, d : 알고리즘을 정규화하기 위한 가중치
    • dl : 필드 길이
    • avgdl : 전체 도큐먼트에서 평균 필드 길이

• BM25알고리즘 최종 값 = IDF * TF * boost(2.2)

  

  • boost: 고정값 = 2.2