API temperature=0 설정해도 응답이 다른 이유 (LLM 재현성 해결법)

temperature를 지원하는 API라도, 0으로 설정했다는 사실만으로 답변이 글자까지 항상 같다고 보장할 수는 없습니다. 다음 표현을 고를 때의 무작위성을 낮추는 것과, 서비스 전체가 매번 같은 결과를 내는 것은 다른 문제입니다.

모델 설명에서 ‘재현 가능하다’는 말을 읽을 때는 먼저 문장이 같은지, 답이 같은지, 그 답이 맞는지를 나눠 보세요. 이 글은 API 설정법이 아니라 공식 문서와 공개 연구에서 말하는 보장 범위를 읽는 기준입니다.

표현은 달라도 답은 같을 수 있습니다

아래는 실제 모델 출력이 아닌 설명용 가상 응답입니다. 질문은 ‘2+2는?’입니다.

응답 A: “4입니다.”
응답 B: “계산 결과는 4입니다.”

두 문장은 글자 단위로는 다릅니다. 하지만 숫자 답만 읽으면 둘 다 4입니다. 문장 전체가 고정돼야 하는 작업과, 정해진 답이 유지되면 되는 작업은 다른 기준을 요구합니다.

반대로 두 응답이 똑같이 “5입니다.”라고 했다면 어떨까요? 같은 답을 반복했다는 사실은 확인할 수 있지만, 2+2의 정답이라는 뜻은 아닙니다. 출력의 반복성과 정답 여부를 한 가지 검사로 묶으면 놓치는 부분입니다.

temperature의 값과 출력 전체의 동일성을 구분한 설명용 생성 그림입니다.

temperature가 바꾸는 범위와 바꾸지 않는 약속

temperature는 텍스트를 생성할 때 다음 표현을 고르는 무작위성과 관련된 매개변수입니다. Anthropic의 공식 Glossary 중 Temperature 설명은 온도가 낮을수록 더 가능성 높은 표현을 따르는 방향이라고 설명합니다.

같은 항목에는 temperature를 0으로 두어도 완전히 결정적인 결과가 되지는 않으며, 같은 입력이 API 호출마다 다른 출력을 만들 수 있다고 명시돼 있습니다. 이 설명은 Anthropic의 직접 제공 서비스와 제3자 클라우드를 통한 추론을 함께 언급합니다.

여기서 ‘결정적’이라는 말은 같은 조건에서 같은 결과가 나온다는 뜻입니다. 다음 토큰(텍스트를 나누는 단위)을 고르는 규칙만으로 API 답변 전체가 한 글자도 바뀌지 않는다고 해석할 수는 없습니다.

그렇다고 모든 호출이 반드시 달라진다는 뜻도 아닙니다. 몇 번 같은 답이 나온 관찰과, 앞으로도 항상 같다는 보장은 구분해야 합니다. 모든 현재 모델이 이 매개변수를 받는다는 뜻은 아닙니다. 이 글은 특정 모델의 지원 여부나 요청 값을 안내하지 않습니다.

문장이 달라도 추출한 답은 같을 수 있습니다. 실제 모델 출력이 아닌 설명용 생성 일러스트입니다.

반복 실험에서도 ‘원문’과 ‘추출한 답’을 나눴습니다

2025년 Eval4NLP 워크숍에 발표된 Non-Determinism of “Deterministic” LLM System Settings in Hosted Environments는 API 기반 모델을 정해진 과제에서 반복 실행한 연구입니다. 연구진은 원문 출력의 일치와, 원문에서 뽑아낸 답의 일치를 서로 다른 지표로 다뤘습니다.

이 구분은 앞의 가상 응답에도 적용됩니다. “4입니다.”와 “계산 결과는 4입니다.”는 원문은 다르지만 숫자 답은 같습니다. 따라서 ‘출력이 달라졌다’는 보고를 볼 때도 무엇을 비교했는지 알아야 합니다.

이 논문은 연구 당시의 모델·과제·API 조건에서 얻은 결과입니다. 오늘의 모든 제품에서 같은 정도의 차이가 난다는 자료로 확대할 수는 없습니다. 연구 결과를 직접 재현하거나 유료 API를 호출한 글도 아닙니다.

똑같은 열쇠가 두 개 있다는 것과 문을 열 수 있다는 것은 다른 질문입니다. 반복성과 정답의 차이를 비유한 생성 그림입니다.

내 작업에 필요한 ‘같음’을 먼저 정하세요

화면에 보여 줄 문구가 한 글자도 바뀌면 안 되는 작업이라면, 같은 내용을 다른 말로 쓴 답도 요구를 충족하지 못합니다. 반면 분류 결과가 필요한 작업은 설명 문장보다 최종 분류값이 같은지가 더 직접적인 기준일 수 있습니다. 이는 요구사항을 나누기 위한 가정이며 특정 서비스의 품질을 측정한 결과가 아닙니다.

어느 쪽이든 같은 결과가 나왔는지와 그 결과가 원문·계산·업무 조건에 맞는지는 별도로 남습니다. 형식이 맞아도 값이 틀릴 수 있는 문제는 JSON 파싱 성공과 합계 검사를 구분한 글에서 작은 예제로 확인할 수 있습니다.

temperature=0이라는 숫자를 볼 때 기억할 것은 ‘항상 같은 정답’이라는 약속이 아닙니다. 어느 환경에서, 무엇이 같다는 뜻인지를 문서와 관찰 범위 안에서 읽어야 합니다.

출처 및 확인일

• Anthropic, Glossary의 Temperature 항목. 게시·수정일 미표기.
• Berk Atıl 외, Association for Computational Linguistics, Non-Determinism of “Deterministic” LLM System Settings in Hosted Environments. Proceedings of the 5th Workshop on Evaluation and Comparison of NLP Systems, 135–148쪽. PDF 표기 발행일 2025년 12월 23일. 연구 조건 밖의 모델·서비스로 결과를 일반화하지 않았습니다.

자료 확인: 2026년 10월 31일 KST. 가상 응답과 생성 일러스트는 실제 모델 출력이나 실험 화면이 아닙니다.