프롬프트 In-Context Learning , 제공된 예제와 관련 지시문을 통해 ai 학습시키기

In-Context Learning (ICL)이란?

In-Context Learning은 생성형 AI가 프롬프트 내의 예제와 지시를 통해
새로운 작업을 즉시 학습하는 능력을 말합니다

 

특히 대형 언어 모델(LLM)에서 강력한 성능을 보이는 ICL은
크게 두 가지 방식으로 나뉩니다

---

1. Few-Shot Prompting

Few-Shot Prompting은 AI에게
몇 가지 예제만 제공하여 작업을 수행하게 하는 기법이에요

 

예를 들어:

2+2=4
3+5=8
7+3=?

이런 식으로 AI에게 덧셈 문제를 풀게 할 수 있습니다.

Few-Shot Prompting의 설계 시 고려해야 할 주요 요소들

1. 예제의 수(Exemplar Quantity): 일반적으로 많을수록 좋지만, 20개 이상은 효과가 줄어들 수 있습니다.
2. 예제의 순서(Exemplar Ordering): 순서에 따라 AI의 성능이 크게 달라질 수 있어요.
3. 레이블 분포(Exemplar Label Distribution): 균형 잡힌 예제를 제공하는 것이 중요합니다.
4. 레이블 품질(Exemplar Label Quality): 정확한 레이블이 중요하지만, 일부 부정확한 레이블도 큰 영향을 미치지 않을 수 있습니다.
5. 예제 형식(Exemplar Format): "Q: {input}, A: {label}" 형식이 흔히 사용되지만, 작업에 따라 다를 수 있어요.

---

예제 선택 기법

Few-Shot Prompting을 더욱 효과적으로 만들기 위해 다양한 예제 선택 기법이 사용됩니다

1. K-Nearest Neighbor (KNN): 테스트 샘플과 유사한 예제를 선택하여 성능을 높입니다. 다만 시간과 자원이 많이 필요할 수 있어요.
2. Vote-K: 다양성과 대표성을 고려한 예제 선택 방법입니다. 서로 다르면서도 대표적인 예제를 선택합니다.
3. Self-Generated In-Context Learning (SG-ICL): AI가 스스로 예제를 생성하는 방식입니다. 훈련 데이터가 없을 때 유용하지만, 실제 데이터보다는 효과가 떨어질 수 있습니다.
4. Prompt Mining: 대규모 데이터에서 최적의 "중간 단어"나 패턴을 찾아내는 기법입니다

---

Few-Shot Prompting 설계의 핵심

Few-Shot Prompting을 설계할 때는 앞서 언급한
요소들(예제의 수, 순서, 레이블 분포, 품질, 형식 등)을 신중히 고려해야 합니다

 

이러한 요소들이 AI의 성능에 큰 영향을 미치기 때문이죠

특히 자동화된 프롬프트 생성 과정에서는 더욱 주의가 필요합니다