[LLM] Qdrant - langchain

Qdrant 세 가지 검색 방식

1. Dense Vector Search(의미 기반) 

 : 임베딩 모델이 문장 전체 의미 압축한 고차원 벡터 생성, 쿼리 벡터&문서 벡터 간 코사인 유사도 순위 매김

 - 기본 방식(RetrievalMode.DENSE)

 - 정확한 키워드 없어도 의미적으로 유사한 문서 찾아냄

 - 성능 부족할 경우 Sparse 추가해 Hybrid로 전환

 

2. Sparse Vector Search(키워드 기반, BM25)

 : 문서를 "어떤 단어가 몇 번 등장했는가"로 표현하는 희소 벡터(Sparse vector) 방식

 - 대부분의 차원 값이 0, 실제 등장한 단어 위치만 값을 가짐

 - BM 알고리즘 : 세 가지 요소 조합해 점수 계산

  • TF(단어 출현 빈도) : 문서에서 검색어가 자주 등장할수록 점수가 높아지지만, 무한정 올라가지 않도록 증가폭 둔화시킴

  • IDF(단어 희소성) : 전체 문서 중 해당 단어가 드물게 등장할수록 점수 높아짐(흔한 단어는 낮은 점수)

  • 문서 길이 보정 : 긴 문서가 단순히 단어 수가 많다는 이유로 유리하지 않도록, 평균 문서 길이 대비 보정

 → 의미 or 문맥 이해 X. 어순/구문 구조 무시 ⇒ 단독 사용보다 Dense 보완 용도로 사용

 

3. Hybrid Search(Dense + Sparse 결합)

 : 두 방식을 결합해 정확한 키워드&의미적으로 유사한 문서 찾음

 - 내부 동작 : BM25로 1차 후보군을 추리고, Dense 임베딩으로 의미 기반 재정렬

	Dense	Sparse
장점	의미/문맥 파악	정확한 키워드 매칭
단점	키워드 누락 가능	의미 파악 불가