ChatGPT 토큰 카운터
ChatGPT·GPT-4 토큰 수 추정 · 컨텍스트 한도 확인
ChatGPT 토큰 카운터란?
OpenAI GPT 모델은 텍스트를 토큰 단위로 처리합니다. API 비용은 처리한 토큰 수에 비례하므로, 정확한 토큰 추정이 비용 관리에 필수적입니다. 이 도구는 GPT-4o, GPT-4.1, o1, o3 mini 등 주요 OpenAI 모델의 토큰 수를 실시간으로 추정하고, 컨텍스트 윈도우 사용량과 예상 API 비용을 함께 보여줍니다.
GPT 토큰이란 무엇인가요?
GPT 토큰은 OpenAI 모델이 텍스트를 처리하는 기본 단위입니다. BPE(Byte Pair Encoding) 방식으로 텍스트를 서브워드 단위로 분리합니다. 영어 단어 1개 ≈ 1~2토큰, 한국어·중국어 문자 1개 ≈ 2~3토큰이 일반적입니다. 공백, 구두점도 토큰으로 계산됩니다.
tiktoken과 이 도구의 추정값 차이는?
tiktoken은 OpenAI가 공식 제공하는 Python 라이브러리로 정확한 토큰 수를 계산합니다. 이 도구는 BPE 패턴을 근사한 알고리즘으로 브라우저에서 빠르게 추정값을 제공합니다. 빠른 확인에는 이 도구를, 정밀한 비용 계산에는 tiktoken을 사용하세요.
컨텍스트 윈도우란 무엇인가요?
모델이 한 번에 처리할 수 있는 최대 토큰 수입니다. GPT-4o는 128K, GPT-4.1은 약 1M(100만), o1은 200K 토큰입니다. 시스템 프롬프트 + 대화 히스토리 + 현재 메시지가 모두 컨텍스트에 포함됩니다. 한도 초과 시 API 오류가 발생합니다.
system/user/assistant 메시지 오버헤드는?
Chat Completions API는 메시지 포맷팅을 위해 메시지당 ~4토큰을 추가합니다. 대화가 길어질수록 누적되는 오버헤드도 고려해야 합니다. 총 오버헤드 ≈ 4 × 메시지 수 + 2(대화 시작/종료).
128K와 1M 컨텍스트 중 어떤 것을 선택하나요?
128K는 대부분의 챗봇, 코드 리뷰, 문서 요약에 충분합니다. 책 전체, 대규모 코드베이스, 긴 법률 문서 등을 단일 프롬프트로 처리할 때 GPT-4.1의 1M 컨텍스트가 필요합니다. 더 넓은 컨텍스트는 비용도 비례하여 증가합니다.
컨텍스트 한도에 가까워지면 어떻게 하나요?
①오래된 대화 히스토리 삭제, ②이전 대화를 요약해 교체, ③RAG(검색 증강)로 관련 내용만 포함, ④더 긴 컨텍스트 모델로 전환 중 하나를 선택하세요. 한도 초과 전에 80% 경고 알림이 표시됩니다.
청킹(Chunking) 전략은 무엇인가요?
긴 문서를 일정 크기의 청크로 분할하여 각각 처리하는 방식입니다. 오버랩(겹침)을 두면 경계 부분의 맥락을 유지할 수 있습니다. RAG 시스템에서는 관련 청크만 검색해 프롬프트에 포함시켜 컨텍스트 효율을 극대화합니다.
GPT-4와 GPT-4o의 토큰 방식 차이는?
GPT-4와 GPT-4o 모두 cl100k_base 토크나이저를 사용합니다. 텍스트 토큰 계산 방식은 동일합니다. GPT-4o는 이미지 입력 시 512px 타일 기준으로 타일당 170토큰이 추가됩니다. 멀티모달 입력이 없다면 토큰 수는 동일합니다.