[LLM] RAG - evaluation

1. RAG 평가 개요

 : 시스템이 입력에 대해 얼마나 잘 검색하고, 그 정보로 정확한 응답을 생성하는지 측정하는 과정

• 평가 요소

 - 검색 단계 평가 : 질문에 대해 검색된 문서(context)의 관련성·정확성 평가

 - 생성 단계 평가 : 검색 정보 기반으로 생성된 응답의 품질·정확성 평가

 

• 평가 방법

기준	종류	설명
데이터 출처	오프라인	미리 준비된 데이터셋으로 성능 측정
	온라인	실제 사용자 트래픽·피드백 기반 실시간 성능 평가
측정 방식	정량적	자동화된 지표로 텍스트 품질 평가
	정성적	전문가/사용자가 직접 주관적 평가

 

2. RAGAS 프레임워크와 4대 지표

• RAGAS : RAG 파이프라인을 정량적으로 평가하는 오픈소스 프레임워크

 

2-1. 생성(Generation) 평가(LLM 답변에 대한 평가)

① Faithfulness(신뢰성) - 할루시네이션 평가

 : 생성된 답변이 검색 문서(context)에 얼마나 충실한지 평가(점수 범위 0~1, 높을수록 👍🏻)

 - 계산 로직 : 답변에서 주장(claim) 추출 → 각 주장이 context에서 추론 가능한지 판단(모두 LLM 활용)

 

② Answer Relevancy(답변 적합성)

 : 생성된 답변이 질문에 얼마나 부합하는지 평가(점수 범위 -1~1, 코사인 유사도 기반)

 - 계산 로직 : LLM 답변으로부터 역으로 질문 생성 → 원래 질문과 생성된 질문 간 코사인 유사도의 평균

 

2-2. 검색(Retrieval) 평가(검색된 context에 대한 평가)

③ Context Precision(문맥 정밀도)

 : 관련 있는 문서가 얼마나 상위 순위에 위치하는지 평가(점수 범위 0~1)

 

④ Context Recall(문맥 재현률)

 : 검색된 context가 정답(ground-truth) 정보를 얼마나 포함하는지 평가(점수 범위 0~1)

 - Faithfulness와 유사하지만, 답변이 아닌 정답(GT)에서 주장 추출한다는 점이 다름

• RAGAS와 langchain-community의 버전 호환성 문제

 - TestsetGenerator import 시 `No Module named langchain_community.chat_models.vertexai` Error 발생

• 해결
 1. langchain_google_vertexai 설치
  - !uv pip install langchain_google_vertexai
 2. .venv\Lib\site-packages\langchain_community\chat_models 디렉토리 아래 vertexai.py 파일을 만들고 아래 코드를 넣는다.
```python
      try:
          from langchain_google_vertexai import ChatVertexAI
      except ImportError:
          class ChatVertexAI:
               def __init__(self, *args, **kwargs):
                   raise ImportError(
                       "ChatVertexAI requires langchain-google-vertexai. "
                       "Install with: pip install langchain-google-vertexai"
                   )
```