[LLM] RAG

1. RAG(Retrieval Augmented Generation)

 : LLM이 외부 문서를 검색해 참고한 뒤 답변 생성하는 기법

 - LLM이 학습하지 않은 최신 정보 다루기 or 할루시네이션 줄이기에 효과적

 

• 파인튜닝 vs RAG 비교

항목	파인튜닝	RAG
도메인 최적화	가능	제한적
최신 정보 반영	불가능	가능
구현 난이도	높음	보통
유연성	낮음	높음

 

1-1. RAG 작동 단계

① 정보 저장(인덱싱)

 • Load : 외부 데이터(파일, DB, 웹 등)를 불러옴

 • Split(Chunking) : 긴 텍스트를 일정 크기의 chunk로 분할

 • Embedding : 각 chunk를 벡터로 변환

 • Store(Vector DB) : 벡터 DB에 저장해 유사 검색이 가능하도록 준비

관계형 DB : 컬럼 내용 일치하는 것, 벡터 DB : 의미적으로 유사한 것 찾음

 

② 검색&생성(Runtime)

 - 사용자 질문 → Retrieve(유사 chunk 검색) → 프롬프트 구성 → LLM 답변 생성

 • Retrieve : 질문 임베딩 후 벡터 DB에서 유사 chunk 검색

 • Query : 검색된 chunk와 사용자 질문을 프롬프트로 구성해 LLM에 전달

 • Generation : 받은 프롬프트에 대한 LLM 응답 생성

 

2. Document Loader

 : LLM에 전달할 참조 데이터를 불러오는 도구

 - LangChain : 동일한 인터페이스로 다양한 리소스에서 데이터를 로드하도록 지원

 - 반환 타입 : list[Document]

Document 속성	설명
page_content	문서 내용(str)
metadata	문서에 대한 부가 정보(dict)
id	문서 식별자(optional)

☑️ LangChaind의 DocumentLoader가 아닌 다른 라이브러리로 읽어도 무방!

 

2-1. TextLoader

 : 텍스트 파일(.txt) 읽음

from langchain_community.document_loaders import TextLoader

loader = TextLoader("data/olympic.txt", encoding="utf-8")
docs = loader.load()          # 즉시 읽기 -> list[Document]
# docs = loader.lazy_load()   # 지연 읽기 -> generator[Document]

 

2-2. PDF Loader

 • PyPDFLoader(기반 라이브러리 : PyPDF2) : 빠른 텍스트 추출, 경량

 • PyMuPDFLoader(기반 라이브러리 : PyMuPDF) : 이미지/주석 추출 성능 우수

 • PDFPlumberLoader(기반 라이브러리 : PDFPlumber) : 표 등 복잡한 구조 처리에 강점

from langchain_community.document_loaders import PyMuPDFLoader

loader = PyMuPDFLoader("data/novel/금_따는_콩밭_김유정.pdf")
docs = loader.load()  # 페이지 단위로 분리된 list[Document]

 

2-3. WebBaseLoader

 : requests + BeautifulSoup으로 웹 페이지 크롤링해 로드

 - RAG 품질 향상 위해 separator="\n", strip=True 설정 권장

 - SoupStrainer로 필요한 태그/영역 선택적 파싱 가능

from langchain_community.document_loaders import WebBaseLoader
from bs4 import SoupStrainer

loader = WebBaseLoader(
    web_path=["https://...url1", "https://...url2"],
    bs_kwargs={
        "parse_only":SoupStrainer(name"div", attrs={"class":"_article_content})
    },
    bs_get_text_kwargs={"strip":True, "seperator":"\n\n"}
)
docs = loader.load()

 

2-4. RecursiveUrlLoader

 : 시작 URL에서 내부 링크를 재귀적으로 따라가며 여러 페이지를 자동 수집

from langchain_community.document_loaders import RecursiveUrlLoader

loader = RecursiveUrlLoader(
    url="https://docs.python.org/3",
    max_depth=2,            # 0: 시작 페이지만, 1: 1차 링크까지, 2: 2차 링크까지
    prevent_outside=True,   # 도메인 외부로 나가지 않음
    extractor=custom_extractor  # 사용자 정의 텍스트 추출 함수
)

☑️ WebBaseLoaer : 단일 URL 단위, RecursiveUrlLoader : 사이트 전체 크롤링

 

2-5. ArxivLoader

 : ArxivLoader 자체는 API 업데이트로 작동하지 않아, arxiv 라이브러리로 직접 검색 후  PDF 다운로드 해 PyPDFLoader로 로드

import arxiv

search = arxiv.Search(query="Advanced RAG", max_result=10, sort_by=arxiv.SortCriterion.Relevance)
client = arxiv.Client()
result = client.results(search)

- 검색 결과(arxiv.Result)에서 제목, 저자, 카테고리, 요약, PDF URL 등 추출해 Document.metadata에 담은 커스텀 함수 lode_arxiv_docs() 직접 구현

 

2-6. DoclingLoader

 : PDF, DOCX, PPTX, XLSX, HTML, 이미지 등 다양한 형식을 구조화된 데이터로 변환

 - 페이지 레이아웃, 읽기 순서, 표 구조, 수식 등 정확히 인식

 - OCR 지원(현재 RapidOCR 호환성 문제로 비활성화 권장)

 - Markdown, HTML, JSON 형식 출력 지원

from langchain_docling import DoclingLoader
from langchain_docling.loader import ExportType

loader = DoclingLoader(
    file_path=["paper1.pdf", "paper2.pdf"],
    export_type=ExportType.MARKDOWN,
    converter=converter  # OCR 설정 등 포함
)

 

 

3. Chunking(문서 분할)

 : 로드한 문서를 일정한 기준의 덩어리(chunk)로 나누는 작업

 • 나누는 이유

 ① 임베딩 모델의 컨텍스트 길이 제한 극복

 ② 검색 정확도 향상 - 작은 chunk가 질문에 더 정확히 매칭

 ③ 계산 효율성 - 벡터 연산, 메모리 사용량 절감

Splitter 목표 : 의미 있는 덩어리를 유지하면서, 최대 길이(chunk_size)를 넘지 않도록 나눔

 

3-1. CharacterTextSplitter

 : 단일 구분자(default: "\n\n") 기준 분리

 - 나눈 조각이 chunk_size보다 작으면 다음 조각과 합침

 - chunk_size보다 큰 조각이 생겨도 구분자 우선 적용

 - separator=""일 때만 chunk_overlap 적용

from langchain_text_splitters import CharacterTextSplitter

splitter = CharacterTextSplitter(
    chunk_size=60,
    chunk_overlap=10,
    separator=""  # 글자 수 기준으로 자름
)

chunk_overlap : 청크 경계에서 앞 청크 끝부분을 다음 청크 앞에 붙여 문맥 연속성 유지

 - 빈 문자열("")로 잘린 경우만 적용(구분자로 정상 분리된 경우에는 미적용) 

 

3-2. RecursiveCharacterTextSplitter

 : 여러 구분자를 우선순위대로 적용해 자연스러운 단위로 분할

 - 기본 구분자 우선순위 : "\n\n" → "\n" → " " → "" 

 - 상위 구분자로 나눈 조각이 chunk_size 초과 시 하위 구분자로 재귀적 재분할

from langchain_text_splitters import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n", "\n", r"[\.?!,~]",  " ", ""],
    is_separator_regex=True  # 구분자에 정규식 사용 가능
)

# '문서 로드 + 분할' 한 번에
docs = loader.load_and_split(splitter)

 

3-3. 토큰 수 기준 분할

 : LLM은 토큰 제한이 있으므로 글자 수보다 토큰 수 기준이 더 정확

# tiktoken(OpenAI GPT 계열 권장)
splitter = CharacterTextSplitter.from_tiktoken_encoder(
    encoding_name="o200k_base",  # GPT-4 이후 모델
    chunk_size=500,
    chunk_overlap=50
)

# HuggingFace Tokenizer
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google/gemma-3-4b-it")
splitter_hf = RecursiveCharacterTextSplitter.from_huggingface_tokenizer(
    tokenizer=tokenizer,
    chunk_size=500,
    chunk_overlap=50
)

 

3-4. MarkdownHeaderTextSplitter

 : Markdown 문서에서 헤더(#, ##, ###) 기준으로 분할. 헤더 정보가 metadata에 자동 저장

from langchain_text_splitters import MarkdownHeaderTextSplitter

header_to_split = [
    ("#", "header1"),
    ("##", "header2"),
    ("###", "header3")
]
splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on=header_to_split,
    strip_headers=True # 헤더 텍스트를 내용에 포함할지 여부
)

# split_text(str)만 지원(split_documents 없음)
docs = splitter.split_text(doc_txt)

 - 분할된 각 Document의 metadata에 {"header1": "...", "header2":"..."} 형태로 계층 정보 자동 포함