AI 도입 전략2026.07.29읽는 시간 8분
AI 토큰이란? 5분 정리: 비용이 되는 이유
글자 수가 아니라 토큰으로 계산되는 이유와, 비용·정확도를 함께 결정하는 토큰 설계 기준
0VIEWS
0LIKES
0SAVES
글자 수가 아니라 토큰으로 계산되는 이유와, 비용·정확도를 함께 결정하는 토큰 설계 기준
"토큰 한도에 도달했습니다." 이 안내를 처음 본 날, 대부분은 같은 질문을 떠올립니다. 질문은 몇 줄 되지도 않는데 왜 한도가 걸릴까. 같은 질문 같은데 어떤 답은 즉시 나오고 어떤 답은 한참 걸리는 이유는 뭘까. 결제 내역에는 왜 글자 수가 아니라 토큰이라는 낯선 단위가 찍혀 있을까.
이 글은 AI 토큰이 무엇인지, 왜 계산 단위가 글자 수가 아닌지, 사내 문서를 AI에 붙일 때 토큰이 비용과 답변 품질을 어떻게 갈라놓는지를 정리합니다. 읽고 나면 견적서의 토큰 항목을 보고 무엇을 줄이고 무엇을 남길지 판단이 섭니다.
AI 토큰은 AI가 문장을 읽고 답을 만들 때 쪼개는 처리 단위입니다. 사람은 "이번 분기 영업 보고서를 요약해줘"라는 문장을 통째로 읽고 한 번에 뜻을 파악합니다. AI는 이 문장을 여러 조각으로 나눈 뒤 조각 단위로 처리합니다. 그 조각 하나가 토큰입니다.
여기서 오해가 자주 생깁니다. 토큰은 단어도, 글자도, 어절도 아닙니다. 단어 하나가 토큰 하나가 되기도 하고 서너 개로 쪼개지기도 합니다. 숫자, 기호, 띄어쓰기, 한글과 영어가 섞인 구간은 모두 다르게 계산됩니다. "글자 수가 적으니 비용도 적겠지"라는 추정이 자주 빗나가는 이유입니다.
토큰이 중요한 이유는 AI가 하는 일이 결국 읽기와 쓰기이기 때문입니다. 사용자가 질문을 넣으면 AI가 읽습니다. 이때 입력 토큰이 발생합니다. AI가 답을 만들면 출력 토큰이 발생합니다. 토큰은 이 두 가지 일의 양을 재는 계량기입니다.
가장 큰 차이는 언어별 환율입니다. 같은 내용을 담은 문장이라도 어떤 언어로 쓰느냐에 따라 토큰 수가 크게 달라집니다. Petrov 외(NeurIPS 2023) 연구에 따르면 동일한 내용을 여러 언어로 옮겼을 때 토큰 수는 최대 15배까지 벌어집니다. 연구진은 그 격차가 비용뿐 아니라 처리 시간과 한 번에 넣는 분량까지 함께 좌우한다고 지적합니다.
한국어는 이 격차에서 유리한 쪽이 아닙니다. 대부분의 상용 모델은 영어 중심 데이터로 토크나이저를 학습했기 때문에 같은 뜻의 문서를 한국어로 넣으면 영어로 넣을 때보다 더 많은 토큰을 씁니다. 국내 기업이 사내 문서를 그대로 붙였을 때 예상보다 비용이 빨리 오르는 배경입니다.
구분 | 글자 수 | 토큰 |
|---|---|---|
세는 주체 | 사람 | AI 모델의 토크나이저 |
언어별 차이 | 없음 | 최대 15배 차이 (Petrov et al., 2023) |
과금 기준 | 아님 | 입력·출력 각각 과금 |
한도 기준 | 아님 | 컨텍스트 한도의 단위 |
미리 알 수 있나 | 바로 셈 | 모델별 계산기로 확인 필요 |
토큰이 늘어나는 지점은 세 곳입니다. 어디서 늘어나는지 알면 어디를 줄여야 할지도 보입니다.
질문 한 줄만 넣는 경우는 드뭅니다. 실무에서는 계약서, 회의록, 매뉴얼, 지난 대화 기록이 질문과 함께 들어갑니다. AI는 답을 만들기 전에 이 전부를 읽습니다. 100페이지 규정집을 통째로 붙이면 질문이 한 줄이어도 입력 토큰은 수만 개가 됩니다.
출력 토큰의 단가는 입력보다 높습니다. Anthropic이 공개한 가격표를 보면 Claude Sonnet 계열의 출력 토큰 단가는 입력 토큰의 5배입니다. "표로 정리해줘", "세 가지 안을 각각 제안해줘" 같은 요청이 비용을 밀어 올리는 지점이 여기입니다.
가장 눈에 덜 띄는 항목입니다. 사내 챗봇은 질문마다 같은 안내문과 같은 규정을 다시 읽습니다. 이런 구간에는 캐시를 씁니다. Anthropic 공식 문서 기준으로 캐시에서 읽은 토큰은 기본 입력 단가의 0.1배로 계산됩니다. 반복되는 부분을 설계로 분리해두면 같은 서비스라도 비용 곡선이 달라집니다.
여기서 실무자들이 가장 자주 빠지는 함정이 있습니다. "관련 자료를 다 넣으면 정확해지겠지"라는 가정입니다.
Liu 외(TACL 2024) 연구는 이 가정을 정면으로 반박합니다. 연구진은 정답이 담긴 문서를 긴 입력의 앞·중간·뒤에 각각 배치해 성능을 측정했습니다. 결과는 U자 곡선이었습니다. 정답이 맨 앞이나 맨 뒤에 있을 때 성능이 가장 높았고 중간에 있을 때는 눈에 띄게 떨어졌습니다. 긴 컨텍스트를 지원한다고 명시한 모델에서도 같은 저하가 나타났습니다.
실무 언어로 옮기면 이렇습니다. 규정집 100페이지를 통째로 넣고 "해지 조건 알려줘"라고 물으면 답은 나오지만 정작 필요한 예외 조항이 중간에 묻혀 빠질 수 있습니다. 비용은 다 냈는데 정확도는 오히려 낮아지는 조합입니다.
그래서 실무의 목표는 적게 넣기가 아니라 필요한 것만 정확히 넣기입니다. 질문에 맞는 조각만 찾아 넣는 구조를 RAG(검색 증강 생성)라고 부릅니다.
다음 중 3개 이상 해당하면 토큰 설계를 점검할 시점입니다.
사내 문서를 AI에 붙이거나 붙일 계획이 있다
월 API 비용이 예상보다 빠르게 오른다
같은 질문에 답변 품질이 들쭉날쭉하다
긴 문서를 넣으면 응답이 눈에 띄게 느려진다
사용자마다 얼마나 쓰는지 측정하는 기준이 없다
어떤 문서를 AI에 넣을지 정한 기준이 없다
세 개 미만이라면 아직은 개별 사용자의 활용 역량 문제일 가능성이 높습니다. 세 개 이상이라면 구조의 문제입니다. 도구를 바꿔도 해결되지 않습니다.
이 네 가지는 모두 설계에서 나옵니다. 모델을 바꿔서는 해결되지 않습니다.
토큰을 이해했다면 자연스럽게 다음 질문이 생깁니다. AI가 문장을 조각으로 나눠 읽는다면 그다음에는 어떻게 답을 만들어낼까요.
토큰은 작은 기술 용어처럼 보이지만 실제로는 AI 도입의 비용과 품질을 동시에 결정하는 출발점입니다. 어떤 문서를 넣고 무엇을 잘라낼지 한 번 정리하면 같은 예산으로 훨씬 정확한 답이 돌아옵니다.
Petrov 외(2023)와 Liu 외(2024) 연구가 공통으로 가리키는 결론은 하나입니다. 넣는 양이 아니라 넣는 방식이 결과를 만듭니다. NextGenAI는 이 판단을 무료 AX 진단에서 함께 정리합니다. 첫 미팅에서는 어떤 문서가 어떤 경로로 AI에 들어가는지, 어디에서 토큰이 새는지를 확인합니다.
전체 도입 흐름이 궁금하다면 AX 컨설팅 가이드에서 진단부터 확산까지의 4단계를 정리해뒀습니다.
AI 토큰은 AI가 문장을 읽고 답을 만들 때 쪼개는 처리 단위입니다. 단어도 글자도 어절도 아니며, 단어 하나가 토큰 하나가 되기도 하고 서너 개로 쪼개지기도 합니다. 입력과 출력 양쪽에서 각각 발생합니다.
RELATED · 함께 읽으면 좋은 글
LLM이 정확히 뭔지, ChatGPT·검색엔진과 어떻게 다른지 5분 만에 정리했습니다. 기업이 어떤 업무부터, 어떤 4단계로 적용하면 되는지 체크리스트와 함께 짚습니다.
ChatGPT는 정답을 검색하지 않고 다음 말을 예측해 문장을 만듭니다. 왜 그럴듯하게 틀리는지, 업무에 어디까지 믿고 어디부터 검토할지 정리했습니다.
RAG(검색 증강 생성)가 무엇인지, 기존 LLM과 어떻게 다른지 5분 만에 정리했습니다. 작동 4단계와 도입 체크리스트, 잘 맞는 업무까지 짚습니다.