업무에는 답변을 작성하는 일만큼이나 ‘분류하는 일’도 많다.
고객 문의가 여러 건 들어오면 결제, 기능, 사용 방법, 오류처럼 유형을 나눠야 한다. 다른 부서에서 협조 요청이 몰리면 단순 문의와 실제 작업 요청을 구분해야 한다. 설문조사의 자유응답이 수십 개 쌓이면 비슷한 의견을 묶어 어떤 주제가 반복되는지 살펴봐야 한다.
한두 건이라면 어렵지 않다.
하지만 문장이 수십 개, 수백 개로 늘어나면 상황이 달라진다.
각 내용을 읽고, 의미를 파악하고, 적절한 분류명을 붙이는 작업이 계속 반복된다.
이럴 때 생성형 AI를 활용하면 사람이 모든 문장을 처음부터 직접 분류해야 하는 작업을 줄이는 데 도움이 될 수 있다.
다만 분류 작업에서는 처음부터 AI에게,
“중요한 순서대로 알아서 정리해줘.”
라고 맡기기보다 어떤 기준으로 묶어야 하는지 먼저 정의하는 것이 좋다.
먼저 ‘분류’와 ‘판단’을 구분한다
예를 들어 고객 문의 30건이 있다고 해보자.
AI에게,
“중요한 순서로 정리해줘.”
라고 요청하면 꽤 그럴듯한 결과를 만들 수 있다.
하지만 여기서 말하는 ‘중요함’이 무엇인지가 애매하다.
고객이 강한 불만을 표현한 문의가 중요한가?
매출과 연결되는 문의가 중요한가?
서비스를 아예 사용할 수 없는 오류가 중요한가?
여러 고객에게 반복되는 문제가 중요한가?
기준이 없으면 AI가 자체적으로 중요도를 해석해야 한다.
그래서 처음에는 두 단계를 분리하는 편이 안전하다.
첫 번째는 내용을 분류하는 단계다.
두 번째는 업무 기준에 따라 우선순위를 판단하는 단계다.
예를 들어 먼저 다음과 같이 요청할 수 있다.
“아래 고객 문의를 다음 유형으로 분류해줘.
계정 및 로그인
결제
기능 사용 방법
오류 및 장애
개선 요청
기타
한 문의가 여러 유형에 걸치면 가장 핵심적인 유형 하나를 선택하고, 판단이 어려우면 ‘분류 확인 필요’라고 표시해줘.”
분류가 끝난 뒤 회사의 실제 기준을 적용해 우선순위를 정할 수 있다.
이렇게 하면 AI가 업무 정책까지 임의로 결정하는 범위를 줄일 수 있다.
처음부터 분류 항목을 완벽하게 만들 필요는 없다
분류 업무를 처음 시작하면 가장 고민되는 부분이 카테고리다.
고객 문의를 몇 종류로 나눠야 할지, 서로 겹치지 않게 어떻게 이름을 정해야 할지 생각하게 된다.
하지만 처음부터 완벽한 체계를 만들 필요는 없다.
오히려 실제 데이터 일부를 AI에게 보여주고 반복되는 유형을 먼저 찾는 방법이 있다.
예를 들어 문의 20건을 준비한 뒤,
“아래 문의에서 반복적으로 등장하는 주제를 5~7개 정도로 묶어줘. 각 주제에는 이름, 포함 기준, 대표적인 예시를 함께 적어줘.”
라고 요청할 수 있다.
AI가 다음과 같은 후보를 제시했다고 해보자.
로그인 및 계정
결제와 환불
기능 사용 문의
오류 신고
이용 제한
개선 제안
이 결과를 그대로 확정하기보다 실제 업무 상황과 맞는지 사람이 검토한다.
예를 들어 회사에서는 결제와 환불 담당 부서가 다르다면 두 카테고리를 분리해야 할 수 있다.
반대로 ‘기능 사용 문의’와 ‘이용 제한’이 실제로 같은 담당자가 처리한다면 하나로 묶을 수도 있다.
즉, AI는 분류 체계의 초안을 만드는 도구로 활용하고 최종 기준은 실제 업무 구조에 맞춰 결정하는 편이 좋다.
분류 기준은 이름보다 설명이 중요하다
카테고리 이름만 제공하면 경계가 애매해질 수 있다.
예를 들어 ‘오류’와 ‘사용 방법’이라는 두 분류가 있다고 해보자.
고객이,
“로그인 버튼을 눌러도 다음 화면으로 넘어가지 않습니다.”
라고 문의했다면 오류로 분류하기 쉽다.
하지만,
“로그인 버튼이 어디에 있는지 모르겠습니다.”
라면 사용 방법에 가깝다.
이 차이를 AI가 안정적으로 구분하게 하려면 분류명뿐 아니라 기준을 같이 적어주는 것이 좋다.
예를 들면 다음과 같다.
“오류 및 장애: 정상적인 절차를 따랐지만 기능이 작동하지 않는 경우.
사용 방법: 기능 자체는 작동하지만 사용자가 절차나 위치를 묻는 경우.”
이렇게 정의하면 경계가 조금 더 명확해진다.
반복 업무에서 좋은 분류 템플릿은 카테고리 이름만 있는 표가 아니라 각 카테고리에 무엇이 포함되고 무엇이 제외되는지 설명된 기준표에 가깝다.
실제 문의를 표로 정리하면 검토하기 쉽다
문의가 많아지면 결과를 줄글로 받기보다 표로 정리하는 편이 좋다.
예를 들어 다음과 같은 구조를 사용할 수 있다.
| 번호 | 문의 요약 | 분류 | 확인 필요 | 비고 |
|---|---|---|---|---|
| 1 | 비밀번호 재설정 이메일 미수신 | 계정 및 로그인 | 없음 | 이메일 수신 여부 확인 |
| 2 | 결제 후 기능이 열리지 않음 | 결제 또는 오류 | 분류 확인 필요 | 결제 상태 확인 필요 |
| 3 | 파일 업로드 위치 문의 | 사용 방법 | 없음 | 안내 가능 |
| 4 | 특정 화면에서 앱 종료 | 오류 및 장애 | 없음 | 재현 정보 필요 |
표의 장점은 애매한 문의가 바로 보인다는 것이다.
특히 ‘확인 필요’ 열을 만들어두면 AI가 억지로 모든 항목을 하나의 카테고리에 넣지 않아도 된다.
업무에서는 모든 결과가 완벽하게 채워진 표보다 애매한 항목이 눈에 보이는 표가 오히려 더 유용할 수 있다.
한 문장 안에 여러 요청이 있을 때는 쪼개서 본다
고객이나 내부 직원이 항상 한 가지 요청만 보내는 것은 아니다.
예를 들어 다음과 같은 메시지가 있을 수 있다.
“지난주 결제한 내역의 영수증을 받고 싶습니다. 그리고 새 계정에서도 이전 프로젝트를 볼 수 있는지 알려주세요.”
이 메시지에는 두 가지 내용이 섞여 있다.
영수증 요청은 결제 관련이다.
프로젝트 이전 가능 여부는 계정 또는 기능 관련 문의일 수 있다.
이런 메시지를 무조건 하나의 유형으로만 분류하면 일부 내용이 사라질 수 있다.
따라서 필요하다면,
“한 메시지에 서로 다른 요청이 두 개 이상 있으면 요청 단위로 분리한 뒤 각각 분류해줘. 원문 번호는 유지해줘.”
라고 지시할 수 있다.
그러면 하나의 문의를 두 개의 작업 항목으로 나눌 수 있다.
특히 고객지원이나 내부 헬프데스크처럼 하나의 메시지 안에 여러 요청이 섞이는 환경에서는 이 방식이 유용하다.
우선순위는 감정적인 표현보다 업무 기준으로 정한다
문의 분류 다음 단계에서 자주 필요한 것이 우선순위다.
하지만 AI에게 단순히,
“급한 문의부터 정리해줘.”
라고 하면 문제가 생길 수 있다.
고객이 화난 표현을 썼다는 이유만으로 높은 우선순위를 부여하거나, 문장이 길다는 이유로 복잡한 문제라고 판단할 수도 있기 때문이다.
업무 우선순위는 실제 조직 기준으로 정의해야 한다.
예를 들어 다음처럼 정할 수 있다.
높음
서비스 전체 또는 핵심 기능 사용 불가
다수 사용자에게 영향을 줄 가능성이 있는 문제
정해진 기한이 임박한 요청
보통
개별 사용자의 기능 오류
일반적인 계정 또는 결제 확인
낮음
사용 방법 문의
향후 개선 제안
즉시 처리가 필요하지 않은 정보 요청
이 기준을 프롬프트에 넣으면 AI가 표현의 강도보다 실제 내용에 따라 분류하기 쉬워진다.
다만 최종 우선순위가 실제 대응 순서와 연결된다면 사람이 한 번 확인하는 것이 좋다.
설문 자유응답에서도 같은 원리를 사용할 수 있다
텍스트 분류는 고객 문의에만 해당하지 않는다.
직원 설문, 행사 만족도 조사, 서비스 후기처럼 자유응답이 많이 쌓이는 상황에서도 활용할 수 있다.
예를 들어 행사 후 다음과 같은 의견이 있다고 해보자.
“강의 내용은 좋았는데 쉬는 시간이 너무 짧았습니다.”
“초보자에게는 설명 속도가 조금 빨랐어요.”
“실습 시간이 더 많았으면 좋겠습니다.”
“장소는 편했지만 안내 표지가 부족했습니다.”
AI에게 단순히,
“의견을 요약해줘.”
라고 할 수도 있다.
하지만 분석 목적이라면,
“각 의견을 콘텐츠, 진행 속도, 실습, 시설, 운영 안내, 기타로 분류하고 같은 주제의 의견이 반복되는지 정리해줘.”
라고 요청하는 편이 더 활용하기 쉽다.
그다음,
“각 분류에서 반복되는 의견만 요약하고, 한 번만 등장한 의견은 별도로 표시해줘.”
라고 이어갈 수 있다.
이렇게 하면 수십 개의 자유응답을 한 번에 읽고 머릿속에서 묶는 작업을 줄일 수 있다.
‘몇 건이나 나왔는가’를 셀 때는 원본 수량을 확인한다
AI로 의견을 묶다 보면 자연스럽게 빈도를 계산하고 싶어진다.
예를 들어,
“배송 관련 불만이 18건, 로그인 문의가 12건”
처럼 숫자로 정리할 수 있다.
이때는 AI가 실제 항목 수를 정확히 셌는지 다시 확인하는 것이 좋다.
특히 한 문장을 여러 주제로 분리했거나, 하나의 문의에 두 개 이상의 태그를 허용했다면 단순 합계가 원본 문의 건수와 맞지 않을 수 있다.
따라서 프롬프트에서 계산 기준을 명확히 해야 한다.
예를 들어,
“문의 건수 기준으로 집계하고, 한 문의가 여러 주제를 포함하더라도 대표 분류 하나만 집계해줘.”
또는,
“주제 등장 횟수를 집계하므로 한 문의에 여러 태그가 붙을 수 있다. 따라서 전체 태그 수가 문의 건수보다 많을 수 있음을 표시해줘.”
처럼 기준을 정한다.
숫자 자체보다 무엇을 한 건으로 계산했는지가 중요하다.
개인정보가 포함된 문의는 그대로 넣지 않는 것이 좋다
고객 문의나 내부 요청에는 개인정보가 포함되는 경우가 많다.
이름, 이메일 주소, 전화번호, 주문번호, 고객번호, 회사 내부 계정 정보 등이 들어갈 수 있다.
분류 작업에는 이런 정보가 필요하지 않은 경우가 많다.
예를 들어,
“홍길동 / hong@example.com / 주문번호 12345 / 환불 요청”
이라는 원문이 있다면 분류에는,
“구매한 상품 환불 요청”
정도의 내용만 있어도 충분할 수 있다.
따라서 AI에 넣기 전에 작업에 필요하지 않은 개인정보를 제거하는 것이 좋다.
또 회사에서 승인된 AI 환경인지 확인해야 한다.
특히 고객 상담 데이터는 조직 내부 정책과 데이터 처리 기준을 먼저 따르는 것이 중요하다.
AI가 텍스트를 잘 분류할 수 있다는 이유만으로 원본 고객 데이터를 그대로 외부 서비스에 넣어도 되는 것은 아니다.
샘플 몇 개를 직접 분류해 보여주면 결과가 안정된다
분류 기준을 글로 설명하는 것만으로 충분하지 않을 때는 실제 예시를 제공할 수 있다.
예를 들어,
“다음 예시를 기준으로 분류해줘.
예시 1
문의: 비밀번호를 잊어버렸는데 재설정은 어디에서 하나요?
분류: 계정 및 로그인
예시 2
문의: 결제까지 했는데 계속 무료 버전으로 표시됩니다.
분류: 결제 확인
예시 3
문의: 파일 업로드를 누르면 오류 메시지가 나타납니다.
분류: 오류 및 장애”
이렇게 대표 사례를 몇 개 보여주면 AI가 분류 체계를 이해하는 데 도움이 된다.
다만 예시가 지나치게 많아지면 오히려 관리하기 어려울 수 있으므로 각 카테고리에서 경계가 분명한 사례 몇 개만 사용하는 편이 좋다.
특히 자주 잘못 분류되는 경계 사례를 예시로 추가하면 효과적이다.
반복 분류에서는 ‘예외 목록’을 계속 쌓아두면 좋다
실제 업무에 적용해보면 처음 정한 분류 체계로 처리하기 애매한 사례가 생긴다.
예를 들어 결제 오류처럼 보였지만 실제로는 계정 권한 문제였을 수 있다.
또 기능 요청처럼 보이지만 이미 존재하는 기능의 사용 방법 문의일 수도 있다.
이런 사례를 발견할 때마다 분류 규칙을 조금씩 보완할 수 있다.
예를 들어,
“결제는 정상 완료되었으나 기능 접근 권한이 열리지 않은 경우는 ‘결제 확인’이 아니라 ‘계정 및 권한’으로 분류한다.”
같은 규칙을 추가한다.
이렇게 예외가 쌓이면 프롬프트가 점차 실제 업무 구조에 맞게 발전한다.
좋은 자동화 템플릿은 처음부터 완벽하게 만들어지는 것이 아니라 실제 오류 사례를 반영하면서 정교해지는 것에 가깝다.
AI 분류 결과를 전부 검토하지 않고 샘플링하는 방법도 있다
문의가 매우 많다면 모든 결과를 사람이 다시 처음부터 검토하면 자동화의 의미가 줄어든다.
이럴 때는 위험도가 낮은 분류 작업에 한해 샘플 검토 방식을 고려할 수 있다.
예를 들어 200건을 분류했다면 각 카테고리에서 몇 건씩 무작위로 확인한다.
특히 ‘확인 필요’ 항목은 전부 검토한다.
또 우선순위가 ‘높음’으로 분류된 항목은 모두 사람이 확인한다.
이런 방식으로 검토 범위를 나눌 수 있다.
다만 고객 대응, 민감한 요청, 중요한 의사결정처럼 잘못된 분류가 큰 문제로 이어질 수 있는 업무라면 더 높은 수준의 검토가 필요하다.
AI 자동화에서는 틀렸을 때 영향이 큰 항목일수록 사람 검토 비중을 높이는 것이 기본 원칙이다.
실전용 분류 프롬프트 템플릿
반복적으로 문의를 정리한다면 다음과 같은 틀을 사용할 수 있다.
“아래 문의 목록을 분류해줘.
[분류 기준]
계정 및 로그인
로그인, 비밀번호, 계정 접근 문제결제
결제 실패, 청구, 영수증 관련 문의기능 사용 방법
기능 위치나 사용 절차에 대한 질문오류 및 장애
정상적인 절차를 따랐지만 기능이 작동하지 않는 문제개선 요청
현재 제공되지 않는 기능이나 변경 제안기타
위 분류에 명확히 해당하지 않는 내용
[규칙]
원문의 의미를 바꾸지 않는다.
한 문의에 여러 요청이 있으면 요청별로 분리한다.
판단이 애매하면 임의로 분류하지 말고 ‘확인 필요’로 표시한다.
감정 표현의 강도로 우선순위를 판단하지 않는다.
개인정보는 결과에 반복해서 출력하지 않는다.
[출력 형식]
번호 / 문의 요약 / 분류 / 확인 필요 여부 / 비고”
이 템플릿을 자신의 업무에 맞게 수정해서 사용할 수 있다.
마무리
고객 문의, 내부 요청, 설문 의견처럼 짧은 텍스트가 많이 쌓이는 업무는 생성형 AI를 활용해볼 만한 반복 작업이다.
핵심은 AI가 최종 판단을 대신하도록 만드는 것이 아니다.
먼저 비슷한 내용을 묶고, 사람이 확인해야 할 항목을 빠르게 드러내도록 사용하는 것이다.
분류를 시작할 때는 카테고리 이름뿐 아니라 포함 기준을 같이 정한다.
한 메시지에 여러 요청이 있으면 필요한 경우 분리한다.
우선순위가 필요하다면 ‘급해 보이는 문장’이 아니라 실제 업무 기준을 제공한다.
그리고 애매한 항목은 억지로 분류하지 않고 ‘확인 필요’로 남기도록 한다.
이 방식이 자리 잡으면 문의가 많이 쌓였을 때 처음부터 모든 내용을 똑같은 집중도로 읽는 대신, AI가 먼저 구조를 만들고 사람은 중요한 예외와 판단이 필요한 항목에 집중하는 흐름을 만들 수 있다.
또 실제 분류 오류를 기록하면서 기준을 수정해나가면 조직이나 개인 업무에 맞는 분류 템플릿으로 발전시킬 수 있다.
다음 글에서는 분류와 정리에서 한 단계 더 나아가, 회의록·메모·자료에서 해야 할 일을 추출해 체크리스트와 업무 목록으로 바꾸는 AI 활용법을 살펴본다.
FAQ
Q1. AI에게 분류 항목 자체를 만들게 해도 되나요?
초안으로 활용할 수 있다. 실제 데이터 일부를 보여주고 반복되는 주제를 묶어달라고 요청한 뒤, 그 결과를 실제 담당 부서나 업무 흐름에 맞게 사람이 수정하는 방식이 좋다. AI가 제안한 카테고리를 바로 최종 기준으로 사용할 필요는 없다.
Q2. 하나의 문의가 여러 카테고리에 해당하면 어떻게 해야 하나요?
업무 목적에 따라 다르다. 담당 부서를 정하는 것이 목적이라면 대표 분류 하나를 선택할 수 있고, 고객의 요구 유형을 분석하는 것이 목적이라면 여러 태그를 붙일 수도 있다. 중요한 것은 집계 전에 어떤 기준을 사용할지 정하는 것이다.
Q3. AI가 정한 우선순위를 그대로 사용해도 될까요?
중요한 대응 순서라면 사람이 확인하는 것이 좋다. 특히 우선순위는 조직의 정책, 고객 영향 범위, 서비스 장애 여부, 마감 기한 같은 실제 기준을 AI에 제공해야 한다. 단순히 문장의 감정적인 표현만 보고 긴급도를 결정하게 해서는 안 된다.
0 댓글