PoC 다음에 필요한 것은 평가 기준이다
그럴듯한 답변을 넘어 실제 업무에서 쓸 수 있는지 확인하기 위한 질문, 문서, 예외 사례의 구성.
블로그 구성을 소개하기 위한 샘플 글입니다.
시연 질문에서 현장 질문으로
잘 준비된 질문 몇 개에 답하는 것과 실제 사용자의 업무를 돕는 것은 다릅니다. 사용자는 문서에 없는 것을 묻고, 조건을 빠뜨리고, 한 번에 여러 요청을 합니다. 평가셋에도 이런 상황이 들어가야 합니다.
자주 묻는 질문, 검색이 어려운 문서, 권한 때문에 답할 수 없는 요청을 나눠 수집합니다. 질문마다 기대하는 동작과 확인할 근거를 적으면 단순한 정답 비교보다 업무에 가까운 평가가 됩니다.
답변과 행동을 따로 본다
문장을 자연스럽게 만드는 능력과 올바른 도구를 선택하는 능력은 별개입니다. 검색한 문서가 맞는지, 근거가 답변을 뒷받침하는지, 실행 전에 확인이 필요한지를 나눠 봅니다.
안전하게 거절한 응답은 필요한 동작일 수 있지만 업무를 완료한 응답과 같지는 않습니다. 완료율, 적절한 보류·거절, 근거 충실도를 구분해 기록하면 개선할 지점이 더 선명해집니다.
비교할 때 기준을 고정한다
모델이나 검색 구성을 바꿀 때 질문과 채점 기준도 함께 바꾸면 무엇이 좋아졌는지 알기 어렵습니다. 동일한 평가셋으로 품질과 비용, 응답 시간을 비교하고 예외 사례를 별도로 확인합니다.
운영에서 발견한 질문은 다음 평가셋에 추가하되 이전 버전을 남깁니다. 평가는 한 번의 합격 판정이 아니라 변경이 기존 동작을 깨뜨리지 않는지 확인하는 반복 과정입니다.