파인튜닝이란? 뜻과 하는 법, RAG와 차이, OpenAI 종료 후 어디서 할까

파인튜닝은 이미 학습된 AI 모델에 내 작업의 입력과 정답 예시를 더 학습시켜 그 작업에 맞게 다듬는 방법입니다. 결론부터 말하면, 대부분의 업무는 프롬프트를 다듬거나 RAG로 자료를 건네는 것만으로 충분하고, 파인튜닝은 같은 형식의 작업을 대량으로 반복하는데 프롬프트로는 품질이 안 잡힐 때 마지막에 고르는 카드입니다. 이 글은 2026년 10월 12일 기준 OpenAI·Google Cloud·Hugging Face 공식 문서를 근거로 뜻, 고르는 기준, 비용 계산법을 정리했습니다.

파인튜닝이란 정확히 무엇인가요?

파인튜닝(fine-tuning, 미세 조정)은 범용으로 학습된 모델을 특정 작업용으로 조금 더 학습시키는 것입니다. 학습 데이터는 "이런 입력에는 이렇게 답한다"는 예시 묶음입니다. 고객 문의를 받아 정해진 양식의 답변 초안을 쓰게 하고 싶다면, 실제 문의와 모범 답변 쌍을 수십~수백 개 모아 학습시키는 식입니다.

프롬프트와의 차이는 무엇을 바꾸느냐입니다. 프롬프트는 요청할 때마다 붙이는 지시문을 바꾸고, 파인튜닝은 모델의 가중치 자체를 바꿉니다. 그래서 파인튜닝을 하고 나면 긴 지시와 예시를 매번 붙이지 않아도 모델이 그 형식대로 답합니다.

파인튜닝에는 어떤 종류가 있나요?

OpenAI 문서는 이 세 가지와 이미지 입력용 비전 파인튜닝을 구분하고, RFT는 추론 모델(o4-mini)에만 쓸 수 있다고 안내합니다. Google Vertex AI는 Gemini 모델에 지도 미세 조정을, 일부 모델에는 선호도 학습과 강화 학습 방식도 제공합니다.

파인튜닝은 언제 프롬프트나 RAG보다 나을까요?

세 방법은 경쟁 관계라기보다 순서입니다. 먼저 프롬프트 엔지니어링 기초에 나온 대로 지시를 명확히 하고 예시를 붙여 봅니다. 모델이 모르는 사내 자료나 최신 정보가 문제라면 RAG로 관련 문서를 찾아 건네는 쪽이 맞습니다. 파인튜닝은 그다음입니다.

OpenAI 문서가 꼽는 파인튜닝의 장점은 이렇습니다.

• 컨텍스트 창에 다 넣을 수 없을 만큼 많은 예시를 학습시킬 수 있습니다.
• 지시와 예시를 모델이 익히므로 프롬프트가 짧아져 토큰 비용과 응답 지연이 줄어듭니다.
• 민감한 데이터를 매 요청에 넣지 않고 학습에만 쓸 수 있습니다.
• 작은 모델을 특정 작업에 맞춰 더 싸고 빠르게 쓸 수 있습니다.

Google Vertex AI 문서는 분류, 요약, 추출형 질의응답, 채팅을 튜닝으로 성능이 오르는 작업으로 들고, 라벨이 붙은 데이터가 있고 작업이 명확히 정의된 경우에 적합하다고 설명합니다.

반대로 파인튜닝으로 안 되는 것은요?

파인튜닝은 지식을 넣는 도구로는 약합니다. 상품 가격이나 사내 규정처럼 자주 바뀌는 사실을 학습시키면, 바뀔 때마다 다시 학습해야 하고 어느 문서를 근거로 답했는지도 보여 주지 못합니다. 이런 일은 RAG가 맞고, RAG에 쓰는 검색 품질은 임베딩과 벡터 DB 선택이 좌우합니다.

OpenAI 파인튜닝은 지금도 쓸 수 있나요?

여기가 2026년에 가장 크게 바뀐 부분입니다. OpenAI는 2026년 5월 8일 갱신한 문서에서 파인튜닝 플랫폼을 단계적으로 종료한다고 밝혔습니다. 공식 문서 기준 현재 상태는 다음과 같습니다.

• 새 사용자는 파인튜닝 플랫폼을 더 이상 이용할 수 없습니다.
• 기존 사용자는 앞으로 몇 달간 학습 작업을 계속 만들 수 있습니다.
• 이미 만든 파인튜닝 모델은 기반 모델이 지원 종료될 때까지 추론에 쓸 수 있습니다.

정확한 종료 일정은 OpenAI 지원 종료(deprecations) 페이지에서 따로 안내하니, 기존 파인튜닝 모델을 운영 중이라면 그 페이지를 먼저 확인하세요. 새로 시작한다면 OpenAI가 아닌 선택지를 봐야 합니다.

그럼 어디서 파인튜닝을 하나요?

• Google Vertex AI: 2026년 10월 10일 갱신된 문서 기준 Gemini 3.5 Flash, 3.1 Flash-Lite, 2.5 Pro, 2.5 Flash, 2.5 Flash-Lite에 지도 미세 조정을 지원합니다.
• 공개 모델 직접 학습: 허깅페이스의 공개 모델을 내려받아 PEFT 라이브러리로 학습합니다. 서버나 GPU를 직접 준비해야 합니다.

파인튜닝 비용은 얼마나 드나요?

비용은 학습 비용과 학습 후 호출 비용 두 갈래입니다. 학습 비용은 이렇게 계산합니다.

학습 비용 = 학습 데이터 토큰 수 × 에포크(반복 학습 횟수) × 100만 토큰당 단가

예를 들어 예시 1,000개가 각각 500토큰이고 3에포크를 돌리면 학습 토큰은 150만 개입니다. 위 단가로 계산하면 gpt-4.1-mini는 약 $7.5, Gemini 3.5 Flash는 약 $15입니다(공식 단가로 직접 계산한 값, 부가세 별도). 학습 자체는 생각보다 싸다는 점이 보통 첫인상입니다.

진짜 비용은 어디서 나오나요?

학습이 끝난 뒤 모델을 부르는 비용이 계속 나갑니다. OpenAI 파인튜닝 gpt-4.1-mini는 100만 토큰당 입력 $0.80, 출력 $3.20이고, Vertex AI는 Gemini 3 이후 모델의 튜닝 모델 호출가를 기본 모델의 1.5배로 받습니다. 프롬프트가 짧아져 아끼는 토큰보다 호출 단가 인상분이 크면 손해입니다. 여기에 정답 예시를 만들고 검수하는 사람의 시간이 가장 큰 비용인 경우가 많습니다. 기본 모델 단가는 OpenAI API 가격 정리와 견줘 보세요.

공개 모델로 직접 파인튜닝하려면 무엇을 알아야 하나요?

서버에서 직접 학습한다면 LoRA 같은 PEFT(파라미터 효율 미세 조정) 방식을 씁니다. 모델 전체를 다시 학습하지 않고, 일부 층에 작은 추가 가중치만 붙여 학습하는 방식입니다. Hugging Face 문서의 예시에서는 Llama-3.2-1B 모델의 학습 파라미터가 전체의 0.0424%에 그칩니다.

결과물도 작습니다. 같은 문서 기준 opt-350m 모델의 LoRA 어댑터 파일은 약 6.3MB로, 전체 가중치(약 700MB)를 통째로 저장하지 않아도 됩니다. 하나의 기본 모델에 작업별 어댑터를 여러 개 바꿔 끼워 쓰는 것도 가능합니다.

다만 GPU 서버를 빌리고, 학습 결과를 평가하고, 서빙 환경을 운영하는 일이 모두 내 몫이 됩니다. API 파인튜닝보다 자유롭지만 손이 훨씬 많이 갑니다.

파인튜닝 데이터는 몇 개나, 어떻게 준비하나요?

OpenAI 문서 기준 지도 미세 조정은 최소 10개 예시부터 가능하고, 잘 만든 예시 50개로 시작해 결과를 평가해 보라고 권합니다. 개수를 늘리기 전에 확인할 것은 이렇습니다.

1. 정답이 일관된가: 같은 유형의 입력에 사람마다 다른 정답을 달면 모델도 흔들립니다.
2. 실제 입력과 닮았나: 깔끔한 예시만 모으면 실제의 오탈자 섞인 문의에서 성능이 떨어집니다.
3. 평가용 데이터를 따로 떼어 뒀나: 학습에 쓰지 않은 예시로 전후를 비교해야 개선 여부를 압니다.
4. 개인정보를 걸러 냈나: 학습 데이터에 고객 연락처 같은 정보가 섞이지 않게 합니다.

파인튜닝이 안 통하거나 하지 말아야 할 경우는 언제인가요?

• 프롬프트로 아직 충분히 시도하지 않았을 때: 지시와 예시를 다듬는 것만으로 해결되는 경우가 많고, 수정도 즉시 됩니다.
• 답의 근거가 자주 바뀌는 자료일 때: 가격·재고·규정은 RAG로 건네야 합니다.
• 출처를 보여 줘야 할 때: 파인튜닝한 모델은 어느 문서를 근거로 답했는지 제시하지 못합니다.
• 호출량이 적을 때: 프롬프트 단축으로 아끼는 비용보다 데이터 준비와 튜닝 모델 호출가 인상분이 더 큽니다.
• 기반 모델이 곧 바뀔 때: 파인튜닝 모델은 기반 모델의 수명을 따라갑니다. 새 모델이 나오면 다시 학습해야 할 수 있습니다.

그래서 파인튜닝은 어떻게 시작하면 될까요?

1. 지금 쓰는 프롬프트에 예시를 붙여 품질을 끝까지 올려 봅니다.
2. 자료가 문제라면 RAG를 먼저 붙입니다.
3. 그래도 형식·말투가 흔들리는 반복 작업이라면, 평가용 예시를 먼저 정하고 잘 만든 예시 50개로 작게 튜닝해 비교합니다.
4. 학습 비용과 튜닝 모델 호출가까지 계산해 프롬프트 방식보다 싼지 확인한 뒤 확장합니다.

자사 서비스에 이런 AI 기능을 붙이는 구조를 고민하고 있다면 함께 설계할 수 있습니다.

참고 자료

• OpenAI — Model optimization
• OpenAI — Supervised fine-tuning
• OpenAI — API pricing
• Google Cloud — Gemini 지도 미세 조정
• Google Cloud — Vertex AI 생성형 AI 가격
• Hugging Face — PEFT Quicktour