Chapter 08

무엇을 언제 쓸까

네 가지를 모두 배웠다. 실제로는 “어느 것이 최고인가”보다 “내 자료와 내 질문에는 무엇이 맞나”가 중요하고, 하나만 고르기보다 섞어 쓰는 경우가 많다.

자료가 작고 고정 → CAG. 자료가 크거나 자주 바뀜 → RAG. 여러 사실을 이어야 하고 정확한 관계가 중요 → KAG. 답이 글이 아니라 프로그램이 쓸 결정이어야 함 → Jev를 앞의 것들 위에 얹는다.

네 방식 비교표

내 상황을 고르면 점수와 이유가 바로 바뀐다. 점수는 이 교재의 경험 규칙을 숫자로 옮긴 것으로, 정답이라기보다 생각의 출발점이다.

SIMULATOR

① 자료의 양은?

② 자료가 얼마나 자주 바뀌나?

③ 주로 어떤 질문인가?

④ 결과를 누가 쓰나?

⑤ 가장 중요한 것은?

실제 사내 도우미를 만든다면 이렇게 될 수 있다. 질문이 들어오면 Jev가 종류를 가르고, 종류에 맞는 길로 보낸 뒤, 마지막에 다시 Jev가 답을 검사한다. 질문 칩을 바꿔 가며 길이 어떻게 달라지는지 보자.

자료가 창에 들어가고 잘 안 바뀐다면, 검색 시스템을 만들기 전에 통째로 넣어 보자. 상용 API의 프롬프트 캐싱으로 비용도 줄일 수 있다.

대부분의 실무 출발점. 4장의 손잡이(조각·k·하이브리드·재순위화)를 차근차근 맞춘다.

“누가 누구의 무엇”을 여러 번 따라가야 하고 틀리면 곤란한 분야라면, 그래프를 만드는 비용을 감수할 가치가 있다.

분기·분류·점수가 필요하면 긴 글 대신 확률을 받고, 보정과 임계값으로 사람과 일을 나눈다.