In-context learning (문맥 기반 학습)

**In-context learning (문맥 기반 학습)**은 최신 대형 언어 모델(예: GPT-4)이 학습하는 방식 중 하나로, 모델이 사전 학습된 파라미터를 바꾸지 않고, 입력된 텍스트(문맥, prompt) 안의 예시나 지침만으로 새로운 문제를 해결하는 능력을 말합니다.

---

🧠 In-context learning이란?

"모델이 외부 훈련 없이 문맥만으로 학습하듯 동작하는 능력"

---

📌 쉽게 설명하면...

예를 들어, 다음과 같은 예시를 모델에게 주면:

 

1 + 2 = 3  
2 + 3 = 5  
4 + 5 = ?

모델은 "4 + 5 = 9"라고 답할 수 있습니다.
이처럼, 학습(training) 없이, 문맥(context) 안에서 주어진 패턴을 파악하여 새로운 문제에 적용하는 것이 핵심입니다.

---

🔍 In-context learning의 핵심 특징

항목설명

외부 파라미터 수정 없음	기존 모델 가중치를 바꾸지 않고, 입력만으로 학습처럼 행동
Few-shot, One-shot, Zero-shot	예시 개수에 따라 분류됨
실시간 적응	사용자 입력에 따라 즉시 행동 변화
인간의 직관적 학습 유사	마치 사람처럼 "예제 몇 개 보고 따라함"

 

---

🧪 종류별 예시

방식설명예시

Zero-shot	예시 없이 문제만 제시	“프랑스의 수도는?” → “파리”
One-shot	예시 1개 제공	"사과=apple\n배=?" → "pear"
Few-shot	2개 이상 예시	"고양이=cat, 개=dog, 말=?" → "horse"

 

---

📚 In-context learning vs Fine-tuning

항목In-context LearningFine-tuning

속도	빠름 (즉시 반응)	느림 (모델 재학습 필요)
유연성	높음 (다양한 문제에 적용 가능)	낮음 (특정 작업에 최적화)
영구 기억	❌ 없음 (입력 지우면 잊음)	✅ 있음
비용	저렴 (프롬프트만 작성)	비쌈 (재학습 필요)

 

---

🔧 사용 예시 (실제 GPT에서)

Q: Translate the following to French:
1. Hello → Bonjour
2. Thank you → Merci
3. Good night →

 

→ 모델은 "Bonne nuit"라고 자동 예측합니다.
= 이것이 in-context learning입니다.

---

🤖 이 기능이 중요한 이유

• GPT 같은 언어 모델은 프롬프트만으로 다양한 작업을 수행할 수 있음
• 사용자가 원하는 작업을 모델에게 "가르치지 않고도" 즉석에서 시키고 수행 가능
• 매우 다양한 산업(교육, 의료, 번역, 고객 응대)에 즉시 적용 가능

아래는 In-context learning의 연구사를 GPT-2부터 GPT-4까지 시대별로 정리한 내용입니다. 각 버전이 어떻게 발전했는지, 어떤 연구들이 이 흐름을 주도했는지 요약해드립니다.

---

📚 In-context Learning 연구사 요약 (GPT-2 ~ GPT-4)

시대	모델	주요 변화	학습 관련 포인트
2019	GPT-2	1.5B 파라미터, 텍스트 생성 중심	✅  학습된 지식 기반 정답은 가능했으나 ✅  명시적 “few-shot learning”은 어려움
2020	GPT-3	175B 파라미터, few-shot 붐	✅ 논문 “Language Models are Few-Shot Learners”에서 처음 정식 개념화 ✅ 프롬프트만으로 다양한 태스크 수행 가능 (번역, QA, 요약 등) ✅ Zero-shot, One-shot, Few-shot 정의
2022	InstructGPT	RLHF 기반, 사용자 지시 이해	✅ Prompt에 대한 응답 품질 향상 ✅ In-context learning을 명시적 Instruction 기반으로 강화
2023	GPT-4	멀티모달 입력 + 고급 추론	✅ 더 긴 context 처리 가능 (32k+) ✅ 복잡한 체이닝/논리적 reasoning에서 강력한 in-context 성능 ✅ “Chain-of-thought prompting” 기술과 함께 발전
2023 이후	GPT-4-turbo, Claude, Gemini 등	압축된 모델 구조 + 긴 context	✅ 최대 128K 문맥 처리 ✅ 메모리 기반 연속 대화 이해력 강화 ✅ Tool-augmented ICL 연구로 확장

 

---

🧪 핵심 논문 요약

📄 2020 – Language Models are Few-Shot Learners (Brown et al.)

• GPT-3 발표 논문
• “In-context learning”이라는 용어 정식 제안
• 모델 파라미터가 커질수록 예제만으로 새로운 태스크 수행 능력 향상
• 기존 fine-tuning 없이도 프롬프트 조합만으로 문제 해결 가능

📄 2022 – Training language models to follow instructions with human feedback (Ouyang et al.)

• InstructGPT 등장
• RLHF(RL with Human Feedback)를 통해 프롬프트의 의도 파악 능력 향상
• 사용자가 주는 지시문 → in-context 학습을 통한 행동 변화 가능

📄 2023 – Large Language Models are Zero-Shot Reasoners (Wei et al.)

• “Let’s think step by step”이라는 chain-of-thought prompting을 통해
• In-context learning에서 추론 능력 급격히 향상됨

---

🔍 기술 발전 요약

기술명	설명
Few-shot learning	몇 개의 예시만 보고 문제 해결
Chain-of-thought prompting	프롬프트에 단계적 사고 흐름을 포함해 모델 추론 향상
Tool-augmented ICL	외부 도구(API, 계산기 등)와 연동하여 문맥 내 학습 확장
Long-context memory	32K~128K 토큰까지 프롬프트 유지 → 더 긴 문서 이해 가능

 

---

📘 미래 전망

• 이제는 단순한 "프롬프트 기억"을 넘어서,
  → 프롬프트 속 문맥을 해석하고 자기 방식으로 추론하는 구조로 진화
• Meta, Anthropic, Google 등도 chain-of-thought 기반의 ICL을 연구
• 인간처럼 "비지도 예시 → 문맥 내 학습 → 창의적 적용" 패턴을 강화 중

📘 In-context Learning 연구사 및 개념 요약

📊 발전 타임라인 (GPT-2 ~ GPT-4 시대)

연도	모델	변화 내용
2019	GPT-2	기본 텍스트 생성 능력, in-context 능력 제한적
2020	GPT-3	Few-shot 학습 개념 도입 (Brown et al. 논문)
2022	InstructGPT	사용자 지시 이해력 향상 (RLHF 적용)
2023	GPT-4	복잡한 추론, CoT prompting, 멀티모달
2024+	GPT-4 Turbo 등	128K context, Tool-augmented 학습 확장

🧪 주요 논문 기반 실험 사례 요약

연도	논문	핵심 내용
2020	Language Models are Few-Shot Learners	GPT-3로 다양한 태스크를 프롬프트만으로 해결
2022	Training LMs with Human Feedback	InstructGPT, RLHF로 지시문 이해 개선
2023	Large LMs are Zero-shot Reasoners	Chain-of-thought으로 복잡한 추론 유도

🧠 인간 학습과 In-context Learning의 비교

• 인간: 몇 개의 예시나 설명을 보고 즉석에서 학습하고 응용
• LLM: 사전 학습된 지식 + 입력 프롬프트만으로 문제 해결
• 공통점: 외부 훈련 없이 예시 기반 학습 행동 가능
• 차이점: 인간은 장기 기억 가능, LLM은 컨텍스트 창 내 정보만 유지

💡 In-context Learning과 프롬프트 엔지니어링의 관계

In-context learning은 프롬프트 구성에 따라 모델의 응답이 크게 달라지는 구조입니다. 따라서 적절한 예시, 지침, 출력 형식 등을 프롬프트 내에 배치하는 기술이 Prompt Engineering입니다. 이 기술은 다음과 같은 전략으로 구성됩니다:

• Few-shot prompting: 예시 몇 개만으로 태스크 유도
• Chain-of-thought prompting: 단계별 추론 문장 포함
• Role-based prompting: 모델의 역할 지정 (예: "너는 수학 선생님이야")

 

이 글이 도움이 되셨다면
🔔 구독 과 ❤️ 좋아요  꾸우욱 눌러 주세요!🙏

그리고 💖커피 ☕, 💚차 🍵, 💛맥주 🍺, ❤️와인 🍷  중 마음에 드시는 한 잔으로 💰 후원해 주시면 큰 힘이 됩니다.

                                                                             👇 지금 바로 아래 🔘버튼을 꾸욱 눌러 📣 응원해 주세요! 👇