프롬프트 정제기
AI 프롬프트 불필요 내용 제거 · 토큰 절약
프롬프트 정제기란?
화면에 표시되는 "~토큰" 수치는 실제 토크나이저를 돌린 값이 아니라 문자 수 × 0.25(문자 4개당 토큰 1개)라는 단순 근사식으로 계산한 값입니다. 이 비율은 영어 텍스트의 BPE 토크나이저 평균에 맞춰진 경험적 수치라, 한글처럼 음절 하나하나가 토큰 하나에 가깝게 소비되는 언어에서는 실제 토큰 수보다 훨씬 적게 표시될 수 있습니다. 정제 자체는 줄바꿈 통일 → 탭→공백 변환 → 줄 앞뒤 공백 제거 → 연속 공백 단일화 → 빈 줄 처리 → 시작/끝 공백 제거 순서로 정해진 절차를 거치며, '빈 줄 제거'와 '빈 줄 압축'을 동시에 체크하면 코드 순서상 '빈 줄 제거'만 적용되고 '압축'은 무시됩니다.
자주 묻는 질문
결과 화면의 "~토큰" 수치는 실제 토큰 수와 같나요?
아니요. 실제 토크나이저를 실행하지 않고 문자 수 × 0.25라는 근사식만 사용합니다. 이는 영어 텍스트 기준의 경험적 비율이라, 정확한 값이 필요하다면 GPT나 Claude 전용 토큰 계산기를 따로 사용해야 합니다.
한국어 프롬프트에서도 이 토큰 절약률을 믿을 수 있나요?
절약률(%)도 같은 근사식으로 전후 값을 계산한 것이므로, 한국어처럼 음절 단위로 토큰이 소비되는 언어에서는 실제 API가 청구하는 토큰 절약 비율과 차이가 날 수 있습니다. 정확한 비교가 필요하면 정제 전후 텍스트를 각각 실제 토크나이저에 넣어 확인하세요.
'빈 줄 제거'와 '빈 줄 압축'을 동시에 체크하면 어떻게 되나요?
코드에서 두 옵션은 if-else 관계로 처리되어, '빈 줄 제거'가 체크돼 있으면 '빈 줄 압축'은 체크 여부와 무관하게 무시되고 빈 줄이 전부 삭제됩니다. 압축만 적용하고 싶다면 '빈 줄 제거' 체크를 해제해야 합니다.
여러 옵션을 동시에 켜면 어떤 순서로 적용되나요?
줄바꿈 통일(CRLF→LF) → 탭→공백 변환 → 줄 앞뒤 공백 제거 → 연속 공백 단일화 → 빈 줄 제거/압축 → 시작 공백 제거 → 끝 공백 제거 순으로 고정돼 있습니다. 예를 들어 탭→공백 변환을 꺼둔 채 연속 공백 단일화만 켜면, 탭 문자는 공백이 아니므로 연속된 탭은 하나로 줄어들지 않습니다.
연속 공백 단일화는 탭 문자도 하나로 줄여주나요?
아니요. 이 옵션은 정규식으로 연속된 스페이스 문자(' ')만 인식해 하나로 줄이며, 탭 문자는 별도로 처리하지 않습니다. 탭이 섞인 텍스트를 정리하려면 '탭→공백 변환' 옵션을 함께 켜야 합니다.
정제해도 프롬프트의 의미가 절대 바뀌지 않는다고 보장되나요?
글자와 단어 자체는 그대로 유지되지만, 문단 구분을 위한 빈 줄이나 마크다운 중첩 목록의 들여쓰기처럼 '형식'이 곧 구조적 의미로 쓰이는 프롬프트라면, 빈 줄을 전부 지우거나 줄 앞 공백을 제거하는 옵션이 그 구조를 무너뜨릴 수 있습니다. 이런 프롬프트에는 필요한 옵션만 선택적으로 켜는 것이 안전합니다.
코드 블록이 포함된 프롬프트에도 안전하게 쓸 수 있나요?
코드의 들여쓰기가 의미를 가지는 언어(Python 등)라면 '탭→공백 변환'이나 '줄 앞뒤 공백 제거' 옵션이 들여쓰기 깊이를 바꿔버릴 수 있으므로, 코드 블록이 포함된 프롬프트에는 이 두 옵션을 끄고 나머지 옵션만 선택적으로 사용하는 것이 안전합니다.
원본 입력 내용이 정제 과정에서 바뀌나요?
아니요. 정제 결과는 별도의 출력 영역에만 표시되며, 왼쪽 입력 영역의 원본 텍스트는 정제 버튼을 눌러도 그대로 유지됩니다.