[LLM] Prompt

1. 프롬프트 엔지니어링

 • 프롬프트 : 생성형 AI에 입력하는 정보(자연어, 이미지, 음성 등)

 • 프롬프트 엔지니어링 : LLM이 원하는 결과를 일관되게 생성하도록 지시문, 입력 정보, 출력 형식, 예시, 제약 조건 설계하는 작업(작업 명세서)

 • 8가지 원칙

 ① 명확성·구체성 : 무엇을, 누구를 위해, 어떤 수준으로, 어떤 형식으로 요청할지 명시

 ② 역할(Persona) 지정 : 역할 부여로 답변 관점·깊이·용어 선택·판단 기준 달라짐

 ③ 출력 형식 지정 : JSON, 표 등 원하는 형식 명시(API·자동화 시스템에서 중요)

 ④ 배경 정보(Context) 제공 : 필요한 맥락(사내 문서, 검색 결과 등) 포함해 할루시네이션 방지

 ⑤ 예시 제공 : 안정된 결과(예시 개수에 따라 Zero-shot / One-shot / Few-shot Learning)

 ⑥ 구조화 : 긴 프롬프트는 <instructions>, <context>, <output_format> 등 태그 or Markdown으로 구획 분리

 ⑦ 제약 조건 명시 : '하지 말아야 할 것' 명시(정확성 중요한 법률, 의료 등 영역 - 출처·기준 시점·불확실성 포함)

 ⑧ 점진적 개선 : 한 번 쓰고 끝내는 것이 아닌, 모델 버전 고정 후 평가 기준(정확도, 형식 준수, 환각 여부 등)으로 반복 튜닝

 

2. 프롬프트 템플릿(LangChain)

 • 목적 : 재사용성, 유지보수성, 자동화 지원, 일관성 확보

 • 방법 : 변수를 {변수명}으로 지정, 실행 시 실제 값으로 대체됨

 • 주요 클래스

 ① PromptTemplate : 단일 텍스트(string) 형태 프롬프트 생성

  - 변수 표시 : {} (중괄호 문자 자체 사용 시 {{, }}로 이스케이프)

  - 주요 메서드 : from_template(), format(), invoke(dict)

# PromptTemplate 기본 흐름
prompt = PromptTemplate.from_template("{country}의 수도는 어디인가요?")
chain = prompt | model  # LCEL 파이프라인
res = chain.invoke({"country": "프랑스"})

 

② ChatPromptTemplate : 대화형 모델용으로, system / user / ai 역할 기반 메시지 조합

  - 주요 메서드 : from_messages(), format_messages(), invoke(dict)

  - GPT, Claude, Gemini 등 모두 Chat 인터페이스 기반 → 실무에서 더 많이 사용

# ChatPromptTemplate 기본 흐름
messages = [
    ("system", "당신은 {domain} 전문 Assistant입니다. {word_length} 단어 이하로 답해주세요."),
    ("user", "{query}")
]
prompt = ChatPromptTemplate.from_messages(messages)
query = prompt.invoke({"domain":"AI", "word_length":30, "query":"Agent란?"})
res = model.invoke(query)

 

③ MessagesPlaceholde : ChatPromptTemplate 안에서 메시지 목록(대화 이력, Few-shot 예제 등)을 동적으로 삽입

 - 여러 Message 객체를 한 번에 삽입

 - 주요 파라미터 : variable_name, optional(메시지 없어도 오류 없음), n_messages(최근 N개만 포함)

chat_history = [
    ("human", "5 + 2는?"),
    ("ai",    "7입니다."),
    ("human", "10 * 5는?"),
    ("ai",    "50입니다.")
]

messages = [
    ("system", "당신은 수학 전문 Assistant입니다."),
    ("placeholder", "{history}"),  # 대화 이력 삽입 위치
    ("user", "{query}")
]

prompt.invoke({"history": chat_history, "query":"위 결과의 3제곱은?"})

 

3. 멀티모달 프롬포트

 • 모달리티 : 정보 표현하는 방식(텍스트, 이미지, 오디오, 비디오 등)

 • 멀티모달 AI : 여러 모달리티 동시 처리하는 AI 시스템
 • 멀티모달 프롬프트 : 텍스트 외 이미지·오디오 등 다양한 데이터 함께 입력하는 방식

 • LangChain에서의 구현

  - 이미지 or 파일 : URL or Base64 인코딩

❓ Base64 인코딩

binary 데이터를 텍스트 기반 시스템(JSON, HTML 등)에서 안전하게 전송하기 위해 ASCII 문자로 변환하는 인코딩 방식

# 이미지 Base64 인코딩 유틸 함수
def encode_to_base64(path: str) -> str:
    with open(path, "rb") as f:
    	return base64.b64encode(f.read()).decode("utf-8")

 

 - 이미지 여러 장 : content 리스트에 이미지 블록 추가

 - ChatPromptTemplate으로 멀티모달 템플릿화 가능({img_data}, {mime_type} 등 변수화)

# 이미지 전송 - Base64
content = [
    {"type":"text", "text":"이미지를 설명해줘."},
    {"type":"image", "source_type":"base64", "data":img_b64, "":"image/jpeg"}
]

# 이미지 전송 - URL
content = [
    {"type":"text", "text":"그래프를 분석해줘."},
    {"type":"image", "source_type":"url", "url":"https://..."}
]

# PDF 전송
content = [
    {"type":"text", "text":"PDF를 요약해줘."},
    {"type":"file", "source_type":"base64", "data":pdf_b64, 
     "mime_type":"application/pdf", "filename":"document.pdf"}
]