한국어는 왜 영어보다 AI 토큰을 더 많이 먹는가 — BPE 토크나이저와 API 비용

가이드 · 2026-08-19 최종 확인

ChatGPT나 Claude에 같은 내용을 한국어와 영어로 각각 입력해보면, 글자 수는 비슷한데도 토큰 수는 한국어 쪽이 훨씬 많이 나오는 경우가 흔합니다. 이건 우연이나 번역 품질 문제가 아니라, LLM이 텍스트를 처리하는 방식 자체에서 비롯되는 구조적인 차이입니다. 이 가이드에서는 그 원인이 되는 BPE 토크나이저의 작동 원리와, 이 차이가 실제 API 비용에 어떻게 이어지는지를 정리합니다.

1. LLM은 글자가 아니라 "토큰"을 읽는다

사람은 문장을 단어와 글자로 읽지만, GPT나 Claude 같은 LLM은 입력을 그대로 읽지 않고 먼저 토큰(token)이라는 단위로 잘게 쪼갠 뒤 그 토큰의 나열을 처리합니다. 토큰은 글자 하나일 수도, 단어 하나일 수도, 단어의 일부일 수도 있습니다. 이 쪼개는 규칙을 정하는 게 토크나이저(tokenizer)이고, GPT 계열을 포함한 대부분의 최신 LLM은 BPE(Byte Pair Encoding) 계열 토크나이저를 씁니다.

2. BPE는 "자주 나오는 조합"을 통째로 외운다

BPE의 작동 원리는 단순합니다. 방대한 학습 텍스트를 놓고, 가장 자주 붙어서 등장하는 문자(또는 바이트) 쌍을 찾아 하나의 토큰으로 합칩니다. 이 과정을 수만 번 반복하면 어휘사전이 만들어지는데, 결국 이 어휘사전에는 학습 데이터에서 자주 등장한 패턴일수록 더 큰 단위(더 긴 문자열)로 통째로 등록됩니다. 문제는 이 학습 데이터의 절대다수가 영어 텍스트라는 점입니다. 그래서 "tion", "ing", "the", 흔한 영어 단어들은 자주 나오는 패턴이라 어휘사전에 통째로 1토큰으로 박혀 있는 경우가 많습니다.

3. 한글은 왜 더 잘게 쪼개지는가

반면 한글은 자모가 조합되어 음절을 이루고, 그 음절이 다시 조합되어 단어가 되는 구조라 표현 가능한 글자 조합의 수 자체가 영어 알파벳보다 훨씬 많습니다. 게다가 학습 데이터에서 한국어가 차지하는 비중이 영어보다 훨씬 적기 때문에, 개별 한글 음절이나 짧은 어절이 어휘사전에 통째로 등록될 만큼 충분히 자주 등장하지 못하는 경우가 많습니다. 그 결과 한글 텍스트는 음절 하나가 여러 토큰으로 쪼개지거나, 아예 어휘사전에 없는 조합이면 UTF-8 바이트 단위로 폴백되어 훨씬 잘게 잘리는 일이 흔합니다. 실무적으로 보면 같은 의미의 문장을 한국어로 썼을 때 영어보다 대체로 몇 배 정도 더 많은 토큰을 소모하는 경우가 흔히 보고됩니다. 정확한 배수는 모델과 문장 종류에 따라 달라지므로 항상 일정한 비율이라고 단정하기는 어렵습니다.

4. 토큰 수 차이가 실제 API 비용에 미치는 영향

OpenAI, Anthropic 등 대부분의 LLM API는 토큰 수를 기준으로 과금합니다. 입력(prompt)과 출력(completion) 각각 1,000토큰당 단가가 정해져 있고, 실제 청구되는 금액은 처리된 토큰 수에 비례합니다. 즉 같은 내용을 담은 프롬프트라도 한국어로 작성하면 영어로 작성했을 때보다 더 많은 토큰이 소모되어, 결과적으로 동일한 작업인데도 한국어 쪽 비용이 더 높게 청구될 수 있습니다. 특히 긴 문서를 요약하거나 대량의 한국어 텍스트를 반복 처리하는 서비스라면 이 차이가 누적되어 무시하기 어려운 비용 격차로 이어질 수 있습니다. 컨텍스트 윈도우(모델이 한 번에 처리할 수 있는 최대 토큰 수) 측면에서도 마찬가지로, 같은 글자 수의 한국어 문서가 영어 문서보다 컨텍스트 한도를 더 빨리 소진한다는 점을 감안해야 합니다.

5. 정리 — 실무에서 기억해둘 점

• 토큰≠글자수: 특히 한국어는 글자 수만으로 토큰 수를 가늠하면 실제보다 훨씬 적게 예상하기 쉽습니다.
• 비용 산정 시 언어 고려: 한국어 위주 서비스는 동일 기능이라도 영어 대비 API 비용이 더 들 수 있다는 전제로 예산을 잡아야 합니다.
• 프롬프트는 간결하게: 불필요한 존댓말 반복이나 중복 표현을 줄이는 것만으로도 토큰 소모를 어느 정도 줄일 수 있습니다.

자주 묻는 질문