생성형 AI를 여러 번 사용하다 보면 흥미로운 현상을 발견하게 된다.
분명 같은 질문을 입력했는데 이전과 완전히 똑같은 답이 나오지 않는 경우가 있다.
예를 들어 AI에게,
“회의 시간을 줄이는 방법을 5가지 추천해줘.”
라고 질문했다고 해보자.
첫 번째 답변에서는 사전 안건 공유, 참석자 축소, 회의 시간 제한, 회의록 자동화, 의사결정 기준 설정을 제안할 수 있다.
그런데 같은 질문을 다시 하면 우선순위가 달라지거나 새로운 아이디어가 포함될 수 있다. 문장의 표현도 조금씩 달라질 수 있다.
처음에는 이런 차이가 이상하게 느껴질 수 있다.
계산기에 같은 숫자를 넣으면 항상 같은 결과가 나오는데, 왜 AI는 같은 질문에 조금씩 다른 답을 줄까?
그 이유를 이해하려면 생성형 AI가 답변을 ‘하나의 정답을 찾아서 꺼내는 방식’이 아니라 여러 가능성 가운데 자연스러운 다음 표현을 선택하면서 문장을 만들어가는 방식으로 작동한다는 점을 알아둘 필요가 있다.
AI는 미리 저장된 완성 문장을 꺼내는 것이 아니다
생성형 AI의 답변을 보면 어딘가에 저장되어 있던 완성된 문장을 찾아 보여주는 것처럼 느껴질 수 있다.
하지만 일반적인 텍스트 생성 과정은 그렇게 단순하지 않다.
AI는 사용자가 입력한 문장과 현재 대화의 맥락을 바탕으로 다음에 어떤 단어나 표현이 이어질 가능성이 높은지를 계산하면서 답변을 만들어간다.
쉽게 비유하면 문장을 쓰면서 매 순간 여러 후보 중 적절한 표현을 선택하는 과정에 가깝다.
예를 들어,
“비가 오는 날에는 우산을…”
이라는 문장이 있다고 해보자.
뒤에는,
“챙기는 것이 좋다.”
“준비해야 한다.”
“가져가는 편이 편하다.”
등 여러 자연스러운 표현이 이어질 수 있다.
하나만 가능한 것은 아니다.
생성형 AI도 비슷하게 문맥에 적절한 여러 후보 가운데 하나를 선택하면서 다음 문장을 이어간다.
이 선택이 계속 반복되면서 최종 답변이 만들어진다.
그래서 같은 질문이라도 가능한 표현이 여러 개 존재한다면 결과가 매번 완전히 같지 않을 수 있다.
‘확률적’이라는 말은 무작위로 아무 말이나 한다는 뜻이 아니다
생성형 AI를 설명할 때 ‘확률적’이라는 표현을 자주 사용한다.
이 말을 처음 들으면 AI가 주사위를 던지듯 아무 문장이나 무작위로 선택한다고 오해하기 쉽다.
하지만 실제 의미는 조금 다르다.
AI는 현재 문맥에서 각 표현이 얼마나 자연스럽게 이어질 수 있는지를 바탕으로 후보를 판단한다.
즉, 모든 후보가 같은 가능성을 갖는 것은 아니다.
“오늘 점심으로 김치찌개를 먹었다.”
라는 문장 다음에,
“맛이 꽤 좋았다.”
라는 표현이 이어지는 것은 자연스럽다.
반면,
“토성의 고리는 얼음 입자로 이루어져 있다.”
라는 문장이 갑자기 이어지는 것은 일반적인 대화에서는 훨씬 덜 자연스럽다.
AI는 이런 문맥상의 관계를 바탕으로 다음 표현을 선택한다.
따라서 확률적 생성은 ‘아무 말이나 하는 것’보다 자연스러운 여러 후보 중 하나를 선택하는 과정이라고 이해하는 편이 쉽다.
같은 프롬프트에서도 표현이 달라질 수 있다
이 특성 때문에 같은 프롬프트를 여러 번 입력하면 답변의 세부 내용이 달라질 수 있다.
예를 들어 다음과 같이 요청해보자.
“AI를 처음 사용하는 직장인을 위한 블로그 제목을 5개 만들어줘.”
첫 번째 결과에서는,
“생성형 AI를 업무에 처음 활용하는 방법”
같은 정보형 제목이 나올 수 있다.
다시 요청하면,
“회사 업무에서 AI를 어디부터 써야 할까?”
처럼 질문형 제목이 나올 수도 있다.
두 결과 모두 사용자의 조건을 만족할 수 있다.
정답이 하나로 정해진 문제가 아니기 때문이다.
이 특징은 아이디어를 만드는 작업에서는 오히려 장점이다.
한 번의 답변이 마음에 들지 않는다고 해서 질문이 잘못됐다고 생각할 필요가 없다.
같은 조건을 유지하면서 다른 후보를 요청할 수도 있다.
예를 들어,
“같은 조건으로 이전과 겹치지 않는 제목을 10개 더 만들어줘.”
라고 이어갈 수 있다.
생성형 AI가 결과를 조금씩 다르게 만든다는 특성을 활용해 아이디어의 폭을 넓히는 것이다.
반대로 정확한 업무에서는 일관성이 더 중요할 수 있다
모든 상황에서 다양한 답변이 좋은 것은 아니다.
예를 들어 고객 문의를 일정한 기준으로 분류하거나, 반복되는 보고서의 형식을 통일하는 작업이라면 결과가 매번 크게 달라지는 것이 오히려 불편하다.
이럴 때는 프롬프트에서 선택의 범위를 줄여주는 것이 좋다.
예를 들어,
“아래 문의를 배송, 결제, 교환, 기타 중 정확히 하나로만 분류해줘. 답변에는 분류명만 출력해줘.”
라고 요청할 수 있다.
이 프롬프트에서는 자유롭게 설명할 여지가 거의 없다.
또 보고서라면,
“다음 순서를 반드시 유지해줘.
이번 주 완료 업무
진행 중인 업무
문제 사항
다음 주 계획”
처럼 출력 형식을 고정할 수 있다.
즉, AI의 답변이 다양하게 나오는 것이 불편하다면 프롬프트에서 AI가 선택해야 하는 범위를 줄이는 방식으로 대응할 수 있다.
아이디어 작업에서는 다양성을 열어두고, 반복 업무에서는 범위를 좁히는 식이다.
답변의 다양성을 조절하는 설정도 존재한다
일부 생성형 AI 서비스나 API에서는 답변이 얼마나 다양하게 생성될지를 조절하는 설정을 제공하기도 한다.
대표적으로 ‘temperature’라는 용어를 볼 수 있다.
일반적으로 이 값은 생성 과정에서 여러 후보 가운데 얼마나 다양하게 선택할지를 조절하는 개념으로 설명된다.
값을 낮게 설정하면 상대적으로 가능성이 높은 표현을 우선해서 선택하는 경향이 강해져 결과가 보수적이고 일관되게 나올 수 있다.
반대로 값을 높이면 조금 더 다양한 표현이 선택될 가능성이 커져 창의적인 결과가 나올 수 있다.
다만 일반 사용자가 AI를 활용할 때 이 값을 반드시 직접 조절해야 하는 것은 아니다.
서비스에 따라 이런 설정을 노출하지 않을 수도 있고, 기본 설정만으로도 대부분의 작업을 충분히 처리할 수 있다.
초보자 입장에서는 숫자 설정을 외우는 것보다 다음 원칙을 기억하는 편이 실용적이다.
정해진 결과를 원한다면 조건을 구체적으로 하고, 다양한 아이디어를 원한다면 AI가 선택할 여지를 남긴다.
창작에서는 ‘다른 버전’을 일부러 요청할 수 있다
확률적 생성 특성은 콘텐츠 작업에서 꽤 유용하다.
예를 들어 블로그 도입부를 작성했는데 첫 번째 결과가 마음에 들지 않을 수 있다.
이때 단순히,
“다시 써줘.”
라고 요청할 수도 있지만, 차이를 더 명확하게 만들고 싶다면 방향을 나눠볼 수 있다.
“같은 주제로 서로 다른 시작 방식의 도입부를 3개 만들어줘.
실제 업무 상황에서 시작
독자의 질문에서 시작
개념의 배경 설명에서 시작”
이렇게 요청하면 AI의 다양한 생성 능력을 목적에 맞게 활용할 수 있다.
이메일 제목이나 발표 제목을 만들 때도 비슷하다.
“같은 내용을 유지하면서 정중한 버전, 간결한 버전, 조금 더 친근한 버전으로 각각 작성해줘.”
라고 요청하면 비교하기 쉬운 여러 후보를 얻을 수 있다.
생성형 AI를 잘 활용하는 방법 중 하나는 첫 결과 하나를 정답으로 보지 않고, 여러 후보를 빠르게 만들어 비교하는 도구로 사용하는 것이다.
같은 질문에서 결과가 너무 달라진다면 조건을 점검한다
반대로 같은 작업을 반복하는데 결과 차이가 너무 크다면 프롬프트가 지나치게 넓게 작성되어 있는지 확인해볼 필요가 있다.
예를 들어,
“이 내용을 잘 정리해줘.”
라는 요청은 매우 자유롭다.
어떤 결과가 ‘잘 정리된 것’인지 명확하지 않기 때문이다.
첫 번째 답변은 긴 문단 형태로 나올 수 있고, 두 번째는 목록으로 정리될 수 있다.
이를 다음처럼 바꿀 수 있다.
“아래 내용을 핵심 결론, 주요 근거, 다음 행동 세 부분으로 나눠 정리해줘. 각 부분은 3개 항목 이내로 작성해줘.”
이제 AI가 선택할 수 있는 범위가 줄어든다.
블로그 글에서도 마찬가지다.
“자연스럽게 작성해줘.”
보다,
“초보자 대상 정보형 문체를 사용하고, 본문은 3~4개의 소제목으로 구성하며, 각 개념 뒤에는 실제 사례를 하나 포함해줘.”
라고 조건을 넣으면 결과가 더 안정적으로 나온다.
결국 결과의 일관성을 높이고 싶다면 프롬프트에서 모호한 부분을 줄여야 한다.
숫자 계산이나 정확한 사실은 다양성이 필요한 영역이 아니다
여기서 한 가지 중요한 구분이 필요하다.
AI 답변이 조금씩 달라질 수 있다는 것이 정확한 사실까지 매번 달라도 괜찮다는 뜻은 아니다.
예를 들어,
“대한민국의 수도는 어디인가?”
같은 질문에는 다양한 창의성이 필요하지 않다.
또 숫자 계산, 날짜, 공식 규칙, 제품의 현재 기능처럼 정확성이 중요한 질문도 마찬가지다.
이런 영역에서 서로 다른 답변이 나온다면 단순히 “AI가 확률적으로 작동하니까 그렇구나”라고 넘겨서는 안 된다.
특히 복잡한 계산이나 최신 정보는 별도의 검증이 필요하다.
AI의 확률적 생성 특성은 표현과 구성의 다양성을 이해하는 데 도움이 되는 개념이지, 잘못된 사실을 정당화하는 설명은 아니다.
앞선 글에서 살펴본 환각 문제와 연결해서 보면 이해하기 쉽다.
AI가 여러 가능성을 바탕으로 답변을 생성하기 때문에 자연스러운 문장을 만들 수 있지만, 동시에 정확한 사실이 필요한 상황에서는 검증 과정이 필요하다.
반복 업무에서는 좋은 결과를 템플릿으로 고정해본다
실무에서 마음에 드는 결과가 한 번 나왔다면 그 구조를 다음 작업의 기준으로 사용할 수 있다.
예를 들어 매주 회의록을 정리한다고 해보자.
처음 몇 번은 결과의 구조가 조금씩 달랐지만 어느 날 다음 형태가 가장 편했다.
핵심 결정 사항
담당자별 업무
기한
추가 확인 사항
이 구조가 마음에 들었다면 다음부터 프롬프트에 그대로 넣는다.
“앞으로 회의록은 항상 아래 네 항목으로 정리해줘.”
라고 요청하는 것이다.
글쓰기에서도 마음에 든 문체나 구성 방식이 있다면,
“아래 예시의 구조만 참고하고 표현은 새롭게 작성해줘.”
라고 사용할 수 있다.
확률적 생성의 장점을 완전히 없애는 것이 아니라, 필요한 부분은 고정하고 변화가 필요한 부분에는 여지를 남기는 방식이다.
이 방식은 반복 업무에서 특히 효과적이다.
생성형 AI를 ‘정답 기계’보다 ‘후보 생성기’로 보면 편하다
AI를 사용하면서 결과가 매번 조금씩 달라지는 것이 불편하게 느껴진다면 관점을 조금 바꿔볼 수 있다.
생성형 AI를 항상 하나의 정답을 내놓는 기계로 보기보다, 주어진 조건에서 가능한 결과 후보를 빠르게 만들어주는 도구로 보는 것이다.
예를 들어 블로그 제목을 만든다면 AI가 만든 첫 제목을 그대로 사용해야 할 필요는 없다.
여러 개를 생성한 뒤 두 개를 합치거나, 마음에 드는 표현만 가져와 직접 수정할 수 있다.
업무 아이디어도 마찬가지다.
AI가 제안한 10개 아이디어 가운데 실제 상황에 맞는 2개만 선택할 수 있다.
이렇게 사용하면 답변이 매번 조금씩 달라지는 특성이 단점이 아니라 탐색 범위를 넓히는 장점이 된다.
다만 보고서 사실 확인이나 정해진 분류 작업처럼 일관성이 중요한 경우에는 조건과 출력 형식을 더 강하게 고정하면 된다.
사용 목적에 따라 AI의 자유도를 조절하는 것이 핵심이다.
마무리
같은 질문을 생성형 AI에 입력해도 답변의 표현이나 구성은 조금씩 달라질 수 있다.
이는 AI가 어딘가에 저장된 하나의 완성 답변을 그대로 꺼내오는 것이 아니라, 현재 문맥에서 자연스러운 여러 가능성 가운데 하나를 선택하면서 답변을 만들어가기 때문이다.
이 특성은 상황에 따라 장점도 되고 단점도 된다.
아이디어 발상이나 글쓰기에서는 다양한 결과를 얻을 수 있다는 점이 유용하다.
반면 반복 보고서나 정보 분류처럼 결과의 형태가 일정해야 하는 작업에서는 너무 큰 변화가 불편할 수 있다.
이럴 때는 출력 형식, 선택 가능한 범위, 문체와 조건을 구체적으로 지정해 AI의 선택 범위를 줄이면 된다.
중요한 것은 ‘AI의 답변은 왜 매번 다르지?’라고 불안해하는 것이 아니라 어떤 작업에서는 다양성이 필요하고, 어떤 작업에서는 일관성이 필요한지 구분하는 것이다.
생성형 AI의 확률적 특성을 이해하면 답변의 차이를 오류로만 보는 대신, 필요에 따라 다양성을 활용하거나 줄이는 방식으로 보다 능동적으로 사용할 수 있다.
다음 글에서는 생성형 AI를 사용할 때 자주 접하는 또 하나의 핵심 개념인 ‘토큰’이 무엇인지, 글자 수와 어떤 차이가 있으며 긴 문서를 다룰 때 왜 중요한지를 초보자의 관점에서 살펴본다.
FAQ
Q1. 같은 프롬프트를 입력하면 항상 다른 답변이 나오나요?
항상 크게 달라지는 것은 아니다. 질문이 매우 구체적이거나 답변 범위가 좁다면 비슷한 결과가 반복될 수 있다. 반대로 글쓰기나 아이디어 생성처럼 가능한 답이 많은 작업에서는 표현과 구성의 차이가 더 크게 나타날 수 있다.
Q2. AI 답변을 매번 비슷하게 만들려면 어떻게 해야 하나요?
출력 형식과 조건을 구체적으로 지정하는 것이 도움이 된다. 예를 들어 항목 개수, 답변 순서, 사용할 분류명, 문체 등을 명확하게 정하면 AI가 선택할 수 있는 범위가 줄어들어 결과의 일관성을 높이기 쉽다.
Q3. 답변이 매번 다르다면 AI의 사실 정보도 믿을 수 없는 건가요?
표현이 달라지는 것과 사실이 틀리는 것은 구분해야 한다. 같은 사실을 여러 방식으로 설명할 수 있기 때문에 문장이 달라지는 것은 자연스럽다. 하지만 숫자, 날짜, 공식 기능, 연구 결과처럼 정확성이 중요한 내용이 달라진다면 별도의 원본 확인과 검증이 필요하다.
0 댓글