명확한 프롬프트를 쓸 줄 알게 되면, 다음 단계는 프롬프트가 모델 안에서 무슨 일을 겪는지 이해하는 거예요: 수학이 아니라 개념과 그것을 설명하는 영어를요. 이것들은 AI에 관한 진지한 대화라면 어디서나 나오는 용어이고, 정확히 쓰는 것이 제목만 읽은 사람과 도구에 대해 생각해 본 사람을 가르죠.
토큰
모델은 단어를 읽지 않아요. 토큰을 읽어요 — 대략 한 단어나 단어의 일부인 글 조각을요. _unhappy_는 하나의 토큰일 수 있고, _unbelievable_은 두 개예요.
- The model splits the text into tokens.
- This model has a large token limit.
유용한 결과가 token limit이에요. 모델이 한 번에 받아들이거나 내놓을 수 있는 최대치예요. 프롬프트가 「너무 길」 때, 바닥난 것은 바로 토큰이에요.
문맥 창
Context window는 모델이 동시에 머릿속에 담아 둘 수 있는 양, 토큰으로 측정되는 단기 기억이에요. 그 안에 대화 전체와 프롬프트가 들어가요.
- The whole document fits inside the context window.
- Once the conversation exceeds the context window, the model forgets the beginning.
챗봇과의 긴 대화가 가끔 맥락을 놓치는 이유가 바로 이것이에요: 처음 부분이 창 밖으로 밀려났거든요. 정확한 영어에서는 모델이 잊었다가 아니라 runs out of context라고 해요 — 「잊었다」는 모델이 세션 사이에 갖고 있지 않은 기억을 암시해요.
온도
Temperature는 답의 예측 가능성을 조절해요. 아이디어는 물리학에서 빌려왔어요 — 온도가 높을수록 움직임이 많아요.
낮은 온도 — 예측 가능하고, 안전하고, 글자 그대로예요. 사실과 코드에 좋아요.
높은 온도 — 다양하고, 예상 밖이고, 창의적이에요. 아이디어와 초안에 좋아요.
Set the temperature low for a technical answer.
The model's temperature was high, so it gave three very different drafts.
이 단어는 이미 너무 표준이라 사람들이 설명 없이 the response felt high-temperature — 즉 예측 불가능하다고 — 말해요.
환각
Hallucination은 그럴듯하게 들리지만 그냥 틀린 답이에요. 모델이 사실, 이름, 출처를 지어내고 그것을 의심의 여지 없는 것으로 내놓았어요.
- The model hallucinated a citation.
- That reference is a hallucination — it doesn't exist.
이것은 정확한 AI 사용자라면 누구에게나 필요한 용어예요. 도구의 주된 고장을 이름 붙이기 때문이에요. 동사는 올바르게요: hallucinate, hallucinated, has hallucinated. 명사는 셀 수 있어요: a hallucination, two hallucinations.
환각은 거짓말이 아니에요. 거짓말은 진실을 알고 그것을 거스르는 것을 요구해요. 모델은 무엇이 참인지 모르고, 어떤 글이 이어질지 예측해요. 틀린 결과물을 hallucination이라고 부르는 것은 lie와 mistake가 정확하지 않은 것처럼 정확해요 — 모델은 현실과 전혀 대조해 본 적이 없어요.
나머지 묶음
이것들이 핵심을 완성하고, 정확한 기술 어휘 옆에서 만나게 돼요:
| 용어 | 뜻 |
|---|---|
| training data | 모델이 학습한 글들 |
| parameters | 모델이 배운 숫자들; 기술적으로 「크기」 |
| inference | 모델이 답을 내는 순간 |
| prompt injection | 프롬프트 안에 숨어서 모델이 지시를 무시하게 만드는 공격 |
| fine-tuning | 모델을 특정한 한 가지 과제에 맞추는 일 |
이것을 정확하게 말하기
패턴을 눈여겨보세요: 각 용어마다 자기 동사가 있고, 그 결합은 연어가 늘 그렇듯 고정돼 있어요.
- The model splits text into tokens.
- The answer exceeded the context window.
- I lowered the temperature.
- The model hallucinated a source.
올바른 동사는 단어뿐 아니라 메커니즘을 이해한다는 것을 보여 줘요.
스스로 확인해 보세요
아래 퀴즈는 용어와 그것과 결합하는 동사를 확인해요.