[LLM] RAG - Embedding VectorDB

1. Embedding 기초

 : 분할된 텍스트를 벡터로 변환화는 과정 다룸. LangChain 임베딩 모델은 공통 인터페이스로 두 메서드 제공

• embed_documents(texts: List[str]) : 여러 문서(컨텍스트) 한 번에 벡터화

• embed_query(text: str) : 질문 하나를 벡터화

from langchain_openai import OpenAIEmbeddings
e_model = OpenAIEmbeddings(model='text-embedding-3-large')

# 여러 문서 임베딩
embedding_docs = e_model.embed_documents(docs)  # list[list[float]]
# 질문 임베딩
query_vector = e_model.embed_query(query)  # list[float]

 • text-embedding-3-small → 1536차원, text-embedding-3-large → 3072차원

 

2. 코사인 유사도 기반 검색

 : 코사인 유사도 = 두 벡터의 내적 / 각 벡터 크기(L2 norm)의 곱 → -1 ~ 1 범위(1에 가까울수록 유사)

# 벡터DB 없이 numpy로 직접 유사도 계산, 상위 k개 뽑기
import numpy as np

def cosin_similarity(vector1, vector2):
    v1, v2 = np.array(vector1), np.array(vector2)
    return (v1 @ v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))
    
search_list = [(i, cosin_similarity(doc_v, query_vector)) for i, doc_v in enumerate(embedded_docs)]
search_list.sort(key=lambda x: x[1], reverse=True)  # 유사도 내림차순 정렬
top_k = 3
doc_idx = [idx for idx, score in search_list[:top_k]

 

3. 벡터 데이터베이스 개념

 : 비정형 데이터(덱스트, 이미지 등)를 고차원 벡터로 변환·저장, 유사도/ANN(근사 최근접 이웃) 기반으로 빠르게 검색하는 특수 DB

- 비슷한 데이터는 임베딩 공간에서 가깝게, 다른 데이터는 멀게 배치되는 성질 이용

• 주요 벡터 DB : Qdrant(Rust 기반 고성능), Pinecone(완전관리형 클라우드), Chroma(오픈소스, 대규모 저장 최적화), FAISS(Meta 개발, GPU 활용 ANNS), Milvus(분산 아키텍처, 대규모 데이터셋용) 등

 

4. LangChain Vector Store 연동

• 연결 방법

 - VectorStore.from_documents() : 문서를 insert하면서 동시 연결

 - VectorStore() : DB 연결만 수행

 

4-1. InMemoryVectorStore 기본 사용

from langchain_core.documents import Document
from langchain_core.vectorstores import InMemoryVectorStore
from langchain_huggingface import HuggingFaceEmbeddings

# Upsert(SQL:insert) 할 Document 리스트 생성
d1 = Document(id=1, page_coutent="Apple, Pear, Watermelon", metadata={"category":"fruit"})
d2 = Document(id=2, page_content="Python, Java, C++", metadata={"category":"IT"})
d3 = Document(id=3, page_content="Football, Baseball, Basketball", metadata={"category":"Sport"})

# 임베딩 모델 생성
embedding_model = HuggingFaceEmbeddings(model="codefuse-ai/F2LLM-v2-1.7B")
# # VectorStore 생성(VectorDB와 연결) -> 임베딩 모델 넣어 생성(임베딩 벡터 변환은 VectorStore 담당)
vectorstore = InMemoryVectorStore(embedding_model)
# Upsert - add_documents(list[Document])
# Document.page_content를 Embedding Vector로 변환 -> indedx, Document를 value로 저장
vectorstore.add_documents(documents=[d1, d2, d3] 

result = vectorstore.similarity_search(query="월드컵", k=2)             # 검색만 
result = vectorstore.similarity_search_with_score(query="월드컵", k=2)  # (문서, 유사도 점수) 반환

 

4-2. MMR(Maximal Marginal Relevance) 알고리즘 

 : 검색 결과 관련성&다양성 동시 고려하는 기법

• 수식 : MMR = λ·Sim(d,Q) - (1-λ)·max Sim(d,d') - λ로 관련성&다양성 비중 조절

result_docs_mmr = vectorstore.max_marginal_relevance_search(
    query=query, 
    k=5,             # 반환할 문서 수
    fetch_k=15,      # 다양성 계산 위해 우선 가져올 후보 수 
    lambda_mult=0.5  # 관련성 vs 다양성 비중(1=관련성 위주, 0=다양성 위주)
)

# 일반 유사도 검색과 비교
vectorstore.similarity_search(query=query, k=5)

 → 일반 검색 : 유사한 문서끼리 중복될 수 있음 vs MMR : 중복 줄이고 다양한 정보 함께 가져옴