LLM이란? 뜻과 원리, 종류부터 토큰 비용 계산까지 쉽게 정리

LLM이란 아주 많은 글을 읽고 다음에 올 단어를 예측하도록 학습한 큰 언어 모델입니다. 클로드·챗GPT·제미나이가 모두 이 위에서 돌아가고, 요금은 글자 수가 아니라 토큰 단위로 매깁니다. 처음 도입한다면 비싼 최상위 모델보다 중간 등급 모델로 시작해 실제 토큰 사용량을 재 보는 것이 가장 손해가 적습니다. 이 글의 정의와 단가는 2026년 10월 12일 Anthropic·OpenAI·구글·DeepSeek 공식 문서에서 확인한 것만 썼습니다.

LLM이란 무엇인가요?

LLM은 Large Language Model, 우리말로 대규모 언어 모델입니다. Anthropic 용어집은 LLM을 "많은 파라미터를 가진 언어 모델로, 방대한 텍스트로 학습해 사람 같은 글을 쓰고 질문에 답하고 요약할 수 있다"고 설명합니다.

학습은 두 단계로 나뉩니다

• 사전학습(pretraining): 엄청난 양의 글을 읽으며 "앞 문맥이 이렇다면 다음 단어는 무엇일까"를 맞히도록 훈련합니다. 이 단계의 모델은 말은 잘 이어 쓰지만 질문에 답하거나 지시를 따르는 데는 서툽니다.
• 파인튜닝·RLHF: 추가 데이터와 사람의 평가(여러 답 중 더 나은 것을 고르는 피드백)로 다듬어 지금 우리가 쓰는 비서형 AI가 됩니다.

학습과 추론은 다른 일입니다

우리가 질문을 보내고 답을 받는 것은 학습이 아니라 추론(inference) 입니다. 대화를 한다고 모델이 그 자리에서 다시 학습되지는 않습니다. 회사 문서를 기억시키고 싶다면 모델을 다시 학습시키기보다 질문할 때 관련 문서를 같이 넣어 주는 RAG(검색 증강 생성)를 먼저 검토하는 이유입니다. 참고로 Claude API는 현재 파인튜닝을 제공하지 않습니다.

토큰은 무엇이고, 왜 요금과 연결되나요?

토큰은 LLM이 글을 처리하는 가장 작은 단위입니다. 단어 하나일 때도, 단어 조각이나 글자 하나일 때도 있습니다. 모델은 글을 토큰으로 쪼개서 읽고, 답도 토큰 단위로 하나씩 만들어 냅니다.

API 요금이 토큰으로 매겨지는 것도 이 때문입니다. 보내는 글(입력)과 받는 글(출력)의 토큰 수를 각각 세어 단가를 곱합니다. 대부분 출력 단가가 입력보다 몇 배 비쌉니다.

한국어는 몇 글자가 1토큰일까요?

정해진 답은 없습니다. Anthropic은 토큰 하나가 몇 글자인지가 모델과 언어에 따라 다르다고 안내합니다. 이전 Claude 모델에서 영어는 토큰당 약 3.5자였고, Claude 4.7 이후의 새 토크나이저는 같은 글에서 약 30% 더 많은 토큰을 만듭니다. 한국어 비율은 공식 수치가 없으니 토큰 세기 API로 우리 서비스의 실제 문장을 재 보는 것이 정확합니다.

컨텍스트 윈도우는 얼마나 넣을 수 있다는 뜻인가요?

컨텍스트 윈도우는 모델이 한 번에 참고할 수 있는 글의 양, 말하자면 작업 기억입니다. 시스템 지침, 지금까지의 대화, 첨부 문서, 그리고 모델이 새로 쓰는 답까지 모두 이 안에 들어가야 합니다.

2026년 10월 기준 Opus 5.5·Sonnet 5.5·Haiku 5.5 같은 현재 Claude 모델은 100만 토큰 컨텍스트를 지원하고, 한 번에 최대 12만 8천 토큰까지 답할 수 있습니다. DeepSeek의 현재 API 모델도 100만 토큰입니다.

지금 많이 쓰는 LLM에는 어떤 것이 있나요?

같은 회사 안에서도 최상위·중간·경량 세 등급으로 나뉘는 경우가 많습니다. 아래는 공식 문서에서 확인한 API 단가(100만 토큰당, 표준 처리 기준)입니다.

구독형 앱(클로드·챗GPT·제미나이 앱)은 월 정액이라 토큰 단가와 별개입니다. 직접 서비스에 붙이는 경우에만 위 단가가 적용됩니다.

공개 모델(오픈 웨이트)도 있습니다

모델 파일을 내려받아 내 컴퓨터나 서버에서 돌리는 선택지도 있습니다. API 요금은 없지만 그만큼의 메모리와 GPU가 필요하고, 성능·관리 책임은 직접 집니다. 시작하는 법은 올라마로 로컬 LLM 돌리기에 정리했습니다.

LLM API 비용은 어떻게 계산하나요?

공식은 단순합니다.

월 비용 = (월 입력 토큰 ÷ 100만 × 입력 단가) + (월 출력 토큰 ÷ 100만 × 출력 단가)

예를 들어 고객 문의에 자동으로 답하는 기능을 월 3만 건, 건당 입력 2,000토큰(질문 + 지침 + 참고 문서)과 출력 500토큰으로 가정해 계산하면 이렇습니다. 실제 수치가 아니라 공식 단가로 계산한 예시입니다.

같은 일을 시켜도 등급에 따라 약 20배 차이가 납니다. 그래서 실무에서는 분류·요약처럼 쉬운 일은 경량 모델, 판단이 필요한 답은 중간 모델로 나누는 경우가 많습니다. 급하지 않은 대량 작업은 Claude와 OpenAI 모두 배치 처리 시 표준의 절반 가격이라 한 번 더 줄일 수 있습니다.

할루시네이션은 왜 생기고, 어떻게 줄이나요?

할루시네이션은 LLM이 사실과 다르거나 주어진 자료와 맞지 않는 내용을 그럴듯하게 만들어 내는 현상입니다. 다음 단어를 예측하는 방식이라 "모르는 것"도 문장으로는 매끄럽게 이어 쓸 수 있기 때문입니다. 설정값(temperature)을 0으로 낮춰도 결과가 완전히 똑같이 나오지는 않습니다.

Anthropic이 안내하는 기본 대책은 세 가지입니다.

1. 모르면 모른다고 답하게 허용합니다. 지침에 "자료에 없으면 없다고 답하라"를 넣습니다.
2. 긴 문서는 원문 인용부터 뽑게 합니다. 2만 토큰이 넘는 문서라면 관련 문장을 그대로 먼저 뽑고, 그 인용만으로 답하게 합니다.
3. 주장마다 근거를 달게 합니다. 근거 문장을 못 찾은 주장은 지우게 합니다.

이 방법들도 할루시네이션을 완전히 없애지는 못합니다. 가격·법률·의료처럼 틀리면 곤란한 정보는 사람이 최종 확인하는 단계를 남겨 두세요. 지침을 쓰는 요령은 프롬프트 엔지니어링 기초에 따로 정리했습니다.

LLM을 붙여도 해결되지 않는 경우는?

• 정답이 하나로 정해진 계산·조회: 재고 수량, 정산 금액처럼 규칙으로 계산되는 일은 일반 코드가 더 빠르고 정확합니다. LLM은 틀릴 수 있는 방식으로 같은 답을 비싸게 냅니다.
• 우리 회사만 아는 최신 정보: 모델은 학습 시점 이후나 내부 자료를 모릅니다. 문서를 함께 넣어 주는 구조(RAG)가 없으면 그럴듯한 오답이 나옵니다.
• 여러 단계를 스스로 이어 가야 하는 일: LLM 하나는 한 번 묻고 한 번 답합니다. 도구를 골라 쓰며 여러 단계를 이어 가게 하려면 반복 구조를 따로 만들어야 하고, 이것이 AI 에이전트입니다.
• 응답 속도가 핵심인 화면: 답이 길수록 시간이 걸립니다. 버튼을 누르자마자 결과가 떠야 하는 기능에는 맞지 않을 수 있습니다.
• 개인정보가 많은 데이터: 외부 API로 보내도 되는지 각 사 데이터 정책과 사내 규정을 먼저 확인해야 합니다. 보낼 수 없다면 로컬 모델이 대안이지만 장비 비용이 듭니다.

정리: 처음이라면 무엇부터 하면 될까요?

1. 앱으로 먼저 써 봅니다. 무료 또는 월 구독 앱으로 우리 업무에 쓸 만한지부터 확인합니다.
2. API로 붙일 일이 생기면 중간 등급 모델로 시작합니다. Sonnet 5.5나 GPT-6.1 Sol 수준에서 품질을 확인합니다.
3. 실제 토큰을 재고 비용을 계산합니다. 위 공식에 실측값을 넣고, 쉬운 작업은 경량 모델로 내립니다.
4. 틀리면 안 되는 답에는 근거 확인 단계를 둡니다.

AI 도구를 업무에 붙이는 다른 사례는 AI 자동화 글 모음에 계속 정리하고 있습니다.

참고 자료

• Anthropic 용어집(LLM·토큰·사전학습·파인튜닝)
• Anthropic 컨텍스트 윈도우 안내
• Anthropic 할루시네이션 줄이기
• Claude 가격
• OpenAI API 가격
• Gemini API 가격
• DeepSeek API 가격