같은 질문인데 상담원마다 답이 달랐습니다. 6년 동안 쌓인 고객 문의 5만 건과 통화 녹음을 모아 여러 번 걸러 내고 실제 질문으로 거듭 시험해 상담원이 바로 쓰는 검증된 답변 자료로 바꿨습니다(검증 때 220개, 지금 237개). 처음 보는 실제 문의 497건으로 확인한 결과 그대로 보내면 고객에게 해가 될 초안이 141건에서 13건으로 줄었습니다.

왜 시작했나

설치비, 반품비, AS 접수처처럼 고객에게 바로 영향을 주는 내용도 직원마다, 시기마다 다르게 안내되고 있었습니다. 기록은 6년치가 쌓여 있었지만 그대로는 쓸 수 없는 상태였습니다.

1수집 ― 6년치 문의 5만 건

환풍기, 전기매트, 조명, 주방가전, 정수기 등을 파는 6개 스토어의 문의를 모았습니다. 채팅 문의가 3분의 2를 차지합니다.

• 형식이 없습니다. 대화와 게시글이 그대로 쌓여 있습니다.
• 맥락에 기댑니다. 한 대화가 여러 턴으로 이어져 앞뒤를 봐야 뜻이 통합니다.
• 섞여 있습니다. 같은 질문에 다른 답, 이미 바뀐 정책, 고객 개인정보가 함께 들어 있습니다.

통화 녹음도 데이터로

전화 상담은 글로 남지 않아 흘려보내던 데이터였습니다. 그런데 전화 문의는 증상 설명과 해결 과정이 채팅보다 훨씬 자세합니다.

1. 녹음 받기 · 통화 녹음 서비스에서 상담 녹음을 자동으로 내려받습니다.
2. 글로 바꾸기 · 무료 음성 인식 모델을 사내 PC에서 돌려 텍스트로 바꿉니다. 녹음은 외부로 나가지 않습니다.
3. 가리기 · 이름, 전화번호, 주소를 가립니다. 띄어 쓴 이름이나 끊어 부른 번호처럼 놓치기 쉬운 경우도 규칙으로 잡았습니다.
4. 상담 정리 · 통화마다 증상, 원인, 해결 절차, 안내 문장으로 정리해 통화 상담 296건을 만들었습니다.

21차 정제 ― 쓸 수 없는 것 걸러 내기

• 개인정보 가림 · 이름, 연락처, 주소를 *** 로 가렸습니다. 외부 AI로 보내는 글도 같은 규칙을 거칩니다.
• 노이즈 제외 · “네 감사합니다” 같은 인사·잡담 1,425건을 분석에서 뺐습니다.
• 대상 확정 · 답변이 달린 문의 49,404건을 분석 대상으로 추렸습니다.

3표준화 ― 사례를 표준 응대로 묶기

통화 208건과 채팅 135건, 모두 343건의 사례를 주제별로 묶어 표준 가이드 145개를 만들었습니다. 가이드 하나는 네 칸입니다.

자주 바뀌는 금액과 전화번호 11개는 ‘공통 값’으로 따로 빼서 한 곳만 고치면 모든 가이드에 반영되게 했습니다. 원본은 구글 시트에 두고 누가 언제 왜 고쳤는지 기록이 남습니다.

41차 검증 ― 실제 질문으로 시험해 보니

고객이 실제로 보낸 질문 200건을 넣고 프로그램이 만든 초안을 실제 직원 답변과 비교해 채점했습니다. 결과는 기대와 거리가 멀었습니다. 원인을 하나씩 적었습니다.

• 글자만 비슷한 과거 답변을 초안으로 가져옴
• “채팅으로 문의 주세요”처럼 내용 없는 답, 다른 고객 전용 처리 문구가 섞임
• 가이드 내용이 최근 정책과 다름 (설치비, AS 접수처, 보증 기간 등)
• 자주 묻는 주제인데 가이드가 아예 없음

5반복 정제 ― 최근 답변을 기준으로

• 충돌 정정 · 가이드와 최근 직원 답변이 다르면 최근 답변 다수를 기준으로 고쳤습니다. 답변끼리 엇갈리면 단정하지 않고 [확인 필요]로 표시했습니다.
• 빈 주제 채우기 · 가이드가 없던 질문을 묶어 자주 나오는 순서대로 새 가이드를 만들었습니다.
• 질문 예시 보강 · 실제 고객 표현으로 된 질문 예시 776개를 더했습니다.
• 문장 일반화 · 한 고객 상황에 묶인 문장을 여러 질문에 맞게 고쳤습니다.

고친 내역은 모두 변경 기록에 남았습니다(421줄).

6검색 개선 ― 글자가 아니라 뜻으로

• 글자 검색에 무료 뜻 검색 모델을 섞었습니다. “소리가 너무 커요”와 “소음이 심해요”를 같은 질문으로 찾습니다.
• 초안 칸에는 검증된 가이드 문구만 넣고 과거 답변은 참고 목록으로만 보여 줍니다.
• 확신이 없으면 초안을 비워 둡니다.
• 효과가 없던 시도는 되돌렸습니다. 바꿀 때마다 같은 질문으로 비교해 보고 결정했습니다.

7공식 자료 결합 ― 사양은 제조사 설명서로

직원 답변은 정책에는 강했지만 제품 사양에는 약했습니다. 같은 제품의 소비전력을 직원마다 다르게 답한 경우도 있었습니다.

• 사양은 설명서 기준, 정책(설치비·AS 창구·반품)은 최근 직원 답변 기준
• 설명서에 없는 값은 추측하지 않고 비워 둠
• 출처(파일명·주소·확인 날짜)를 담당자 메모에 남김

이렇게 해서 가이드는 145개에서 220개가 되었습니다.

8검증 반복 ― 과적합의 함정

고칠 때마다 다시 채점했습니다. 같은 200건 기준으로 엉뚱한 초안이 64% → 47% → 24% → 18% → 10%로 줄었습니다.

그런데 처음 보는 질문 292건으로 확인하자 18%로 다시 올랐습니다. 같은 질문만 보며 고치다 보니 그 질문들에 맞춰져 있었던 것입니다. 이것을 과적합이라고 합니다. 같은 시험 문제만 보며 고치다가 그 문제에만 맞춰지는 현상입니다.

그래서 마지막 검증은 한 번도 보지 않은 실제 질문 497건으로 했습니다. 엉뚱한 초안은 전체의 4%였습니다.

9최종 검증 ― 기존 프로그램과 블라인드 비교

같은 497건을 기존 프로그램과 새 프로그램에 넣고 어느 쪽 결과인지 가린 채 채점했습니다.

새 프로그램은 초안을 채우는 비율이 29%로 낮습니다. 대신 채운 초안의 86%는 그대로 또는 조금 고쳐서 쓸 수 있습니다.

검증 이후 ― 상담원이 읽기 쉬운 모양으로

숫자로는 좋아졌지만 상담원이 실제로 쓰기엔 또 다른 문제가 있었습니다. 채팅과 전화는 쓰는 방식이 다른데, 한 가이드에 두 채널의 말이 섞여 있었습니다.

• 채팅은 묻고, 고르고, 보내는 순서 · 먼저 물어볼 말을 보내고, 고객 대답에 맞는 상황을 고르면 보낼 문구가 나옵니다. 두 번째 답장은 인사를 다시 하지 않고 “네 고객님,”으로 이어집니다. 직원 기록에서도 같은 날 이어지는 답장은 대부분 이렇게 시작했습니다(1,697건 대 153건).
• 전화는 대본처럼 · 번호마다 그대로 말할 한 문장을 두고, 고객 대답에 따라 갈래를 나눴습니다. 근거와 주의사항은 대본에서 빼고 담당자 메모로 옮겼습니다. 가이드 237개를 모두 이 모양으로 바꿨습니다.
• 문자 상담도 데이터로 · 문자로 받은 개인 주문 상담 624건을 정리해 새 가이드 5개를 만들고 기존 가이드 16개를 보강했습니다.

모양을 바꾼 뒤에는 세 번 다시 훑었습니다. 바꾸는 과정에서 원래 없던 내용이 들어갔는지(26개 수정), 순서가 꼬였는지(45개 수정), 전화 대본에 채팅 말투가 섞였는지(95개 수정)를 실제 상담 기록과 통화 녹음에 대 보며 고쳤습니다. 기본 조치를 안내하기 전에 영상부터 요청하던 순서, 전화로 바로 처리할 일을 채팅으로 다시 문의하라고 넘기던 문장이 대표적이었습니다.

이 과정에서 배운 것

1. 데이터의 가치는 양이 아니라 ‘확인된 정도’에서 나옵니다. 5만 건의 기록보다 검증된 가이드 220개가 더 쓸모 있었습니다.
2. 사람의 기록은 엇갈립니다. 기준을 정하고 엇갈리는 곳은 단정하지 말고 표시해 둡니다.
3. 반드시 처음 보는 데이터로 검증합니다. 같은 데이터로만 고치면 좋아진 것처럼 보일 뿐입니다.
4. 틀린 답보다 빈 칸이 낫습니다. 확신이 없을 때 비워 두는 것도 품질입니다.
5. 모든 수정에 출처와 기록을 남깁니다. 나중에 누가 봐도 왜 그렇게 정했는지 알 수 있습니다.

다음 단계 ― 쓸수록 똑똑해지는 구조

1. 문의가 오면 가이드로 초안을 만듭니다(비용 없음).
2. 가이드가 없으면 AI가 가이드와 앞 대화를 함께 보고 초안을 씁니다(RAG).
3. 상담원이 확인·수정해서 보냅니다.
4. 보낸 답변은 ‘승인 답변’으로 자동 기록됩니다.
5. 매주 승인 답변을 주제별로 묶어 가이드 후보를 만듭니다.
6. 관리자가 확인해 공식 가이드로 반영합니다.

이제부터는 상담원이 실제 문의에 직접 써 보면서 세부 사항을 계속 업데이트해 나갈 예정입니다. 가이드는 한 번 만들고 끝나는 문서가 아니라 쓰면서 고쳐 가는 도구입니다.

사용한 서비스

통화 녹음과 뜻 검색은 사내 PC에서 돌려 녹음 파일이 외부로 나가지 않게 했습니다. 외부 AI로 보내는 글은 개인정보를 먼저 가렸습니다.

자주 묻는 질문