반응형
나 : 프롬프트 잘 입력하기 위한 방법 알려줘
GPT → 프롬프트를 잘 [입력, 작성, 쓰기, ... ⬅️ GPT가 답할 후보군]... 위해서는 ~~~
Temperature (온도)
- GPT가 다음 단어를 말하는 데에는 여러가지 잠재적인 후보군이 있음
- 후보군 각각의 순위가 매겨져 있을텐데, 설정을 1에 가깝게 할 수록 발생할 수 있는 확률을 점점 더 비슷하게 가져가겠다 라고 설정하는것임 → 창의성을 더 올리고 싶다면 1에 가깝게가면 여러가지 우리가 상상하지 못한 단어들이 후보군으로 지정되어 답변하게 되는것임
- 그치만 너무 말도 안되는 이야기를 한다면 Temp를 낮게 가져가면 됨 0에 가깝게, 이건 대화해보면서 감을 잡으면 됨
- Temperature는 온도가 높을 수록 (최대 1) 후보군 각각의 단어 모두에 대한 확률을 비슷하게 가져가던지 아니면 서로 다른 의미의 후보군에 대해 확률을 좀더 많이 다르게 가져갈지를 설정하는 파라미터임
Top-P (상위 몇 퍼센트의 확률)
- 후보군 자체를 상위 몇 %만 이용하겠다고 설정하고 싶다. 즉, 10개의 후보군이 있을때 Top-P설정을 0.5로 하면 상위 5개를 후보군으로 지정하겠다는 것임
- 여러가지 후보의 단어들이 있을때, 0.5면 상위 50% 이상의단어들만 갖고 생성
- 즉 물리적으로 후보군을 끊어보겠다는 파라미터임
- 만약, 상위 2개 씩 후보군을 잘라서 답변을 진행하게 된다면 정말, 로봇처럼 거의 정답에 가까운 답변, 딱딱한답변을 하게 될것임
- 그래서, 0.1 또는 0.01로 한다면 상위 10%나 1%에 해당하는 고정된 형태로 후보가 추려서 나올것이다. (즉 작을 수록 가장 상위 확률의 값으로 대답)
Beam Width (빔 폭)
- 빔 서치 라는 것이 언어모델에서 다음 단어를 선택할 때 후보군을 어느 정도의 Width로 선택할 것이냐를 결정하는건데
- Beam Width를 넓히면 후보군이 넓혀져서, 값이 크면 그만큼 계산하는데 시간이 오래걸림
- 시간은 오래걸리지만 좀더 다양한 단어선택을 하게됨
결론 :
예측 가능한 범위 내의 좀 더 정확도 높은 그럴싸한 답을 원한다면
- Temp ↓, Top-P ↓, BeamWidth ↓
창의적이고, 다양한 답변을 원한다면 적절히 높이
- Temp ↑, Top-P ↑, BeamWidth ↑
사용예시:
반응형
'Machine Learning > DL - NLP' 카테고리의 다른 글
| "처음부터 대규모 언어 모델(LLM) 만들기" (1) | 2024.01.28 |
|---|---|
| PEFT 기법 (LoRA, IA3) (0) | 2023.07.07 |
| 로컬 LLM 정리 (feat. KoAlpaca) (0) | 2023.06.28 |
| 구글 PaLM 2 정리 (0) | 2023.06.27 |
| KoAlpaca 랭체인(langchain) 활용하기 (0) | 2023.06.13 |
댓글