프롬프트 엔지니어링은 '질문을 잘 쓰는 기술'입니다. 아래 예시 프롬프트를 살펴볼까요?

1. "좋은 마케팅 전략 알려줘"

2. "나는 대학생 대상 스타트업을 운영 중이고, 예산은 월 100만 원, 온라인 홍보만 가능해. 이 상황을 고려해서, 마케팅 전략을 짜줘"
   
   

좀 더 구체적인 후자의 답이 훨씬 쓸모 있겠지요? 하지만 여전히 모델은 질문만 보고 판단하는 단계에 머무릅니다. 여기서 콘텍스트 엔지니어링과의 차이가 나오는데요. 콘텍스트 엔지니어링은 모델이 답을 내기 전, 질문에 도움이 되는 앞뒤 맥락(콘텍스트), 즉 정보와 도구를 풍부하고 정확하게 전달하는 시스템을 의미합니다.

• 지침(Instructions): 모델의 역할, 말투, 규칙

• 사용자 요청(User Prompt): 지금 당장의 질문

• 대화 히스토리(Short-term Memory): 지금까지의 대화 맥락

• 장기 메모리(Long-term Memory): 사용자 선호, 과거 프로젝트 기록

• 검색된 정보(RAG): 문서, 데이터베이스, 웹에서 가져온 최신 지식

• 도구(Tools): 일정 확인, 메일 발송 같은 실행 기능

• 출력 형식(Output Format): JSON, 표, 요약문 등 원하는 결과 형태
  
  

이처럼 콘텍스트는 단순한 문장 하나가 아니라, AI가 문제를 풀 수 있도록 마련된 작업 환경 전체입니다. 맥락을 얼만큼 아느냐에 따라 받을 수 있는 도움의 질이 달라질 수 있는데요. 에이전트를 사용할 경우, 그 차이는 더욱 극적으로 달라집니다. 예시를 통해 살펴보겠습니다.

<질문: "내일 나 회의 일정 되나?">

• 콘텍스트가 빈약한 경우:
  👉🏼 "내일 가능합니다. 몇 시로 할까요?"

• 콘텍스트가 풍부한 경우:
  (입력 전에 시스템이 캘린더, 과거 대화, 상대와의 관계, 예약 도구를 모아서 함께 전달)
  👉🏼 "내일은 꽉 찼습니다. 대신 목요일 오전은 비어있어요. 초대 보냈습니다."

둘 다 같은 모델이지만 전자는 일정을 체크하고 다시 시간을 정하는 과정을 거쳐야 하는 한편, 후자는 한 번의 질문으로 원하는 결과를 얻을 수 있습니다. 즉, 모델이 아닌, 맥락을 제공하는 시스템으로 결과가 갈리는 것이지요.

1) 시스템적으로 접근하기

콘텍스트 엔지니어링은 '질문을 잘 쓰는 법'이 아니라, 정보를 준비하고 다듬는 공정 전체를 설계하는 일입니다. 회의 일정을 잡는 에이전트를 만든다고 해볼까요? 

• 먼저 요청의 의도를 파악하고,

• 필요한 데이터(내 캘린더, 상대방의 캘린더, 과거 대화 기록)를 모은 다음,

• 짧게 요약해서 모델이 바로 이해할 수 있도록 정리하고,

• 적절한 순서로 배열해 모델에 전달합니다.
  
  

2) 상황에 따라 동적으로 만들기

어떤 정보를 넣어야 하는지는 요청의 성격에 따라 달라집니다.

• 일정 확인: 캘린더, 연락처

• 기술 질문: 문서, 위키, 최신 업데이트

• 고객 응대: 과거 대화, 고객 프로필
  
  

즉, 모든 프롬프트에 같은 정보를 집어넣는 게 아니라, 필요할 때 필요한 맥락만 선택적으로 제공하는 게 중요합니다. 불필요한 데이터를 다 넣으면 모델이 집중하지 못하고, 시간도 오래 걸리며 비용도 많이 들 수 있습니다.

3) 적절한 형식 선택하기