Как ИИ-модели вас понимают: токены, контекст и галлюцинации
Технический слой простым языком — токены, контекстное окно, температура и галлюцинация, — чтобы вы могли говорить об ИИ точно.
Когда вы умеете писать ясный промпт, следующий уровень — понять, что происходит с ним внутри модели: не математику, а понятия и тот английский, который их описывает. Это термины, которые всплывают в любом серьёзном разговоре об ИИ, и точное их использование отличает человека, прочитавшего заголовок, от человека, который подумал об инструменте.
Токены
Модель не читает слова. Она читает токены — куски текста, примерно слово или часть слова. unhappy может быть одним токеном; unbelievable — двумя.
- The model splits the text into tokens.
- This model has a large token limit.
Полезное следствие — token limit, максимум, который модель может принять или выдать за раз. Когда промпт «слишком длинный», закончились именно токены.
Контекстное окно
Context window — это сколько модель может держать в уме одновременно, её краткосрочная память, измеряемая в токенах. Внутри находится весь ваш разговор плюс промпт.
- The whole document fits inside the context window.
- Once the conversation exceeds the context window, the model forgets the beginning.
Вот почему длинные разговоры с чат-ботом иногда теряют нить: начало выпало из окна. В аккуратном английском говорят, что модель runs out of context, а не что она забыла — «забыла» подразумевает память, которой у модели между сессиями нет.
Температура
Temperature управляет предсказуемостью ответа. Идея заимствована из физики — выше температура, больше движение.
Низкая температура — предсказуемо, безопасно, буквально. Хорошо для фактов и кода.
Высокая температура — разнообразно, неожиданно, творчески. Хорошо для идей и черновиков.
Set the temperature low for a technical answer.
The model's temperature was high, so it gave three very different drafts.
Слово уже настолько стандартно, что люди говорят the response felt high-temperature — то есть непредсказуемый — без объяснений.
Галлюцинация
Hallucination — это уверенно звучащий ответ, который попросту ложен. Модель выдумала факт, имя, источник и заявила его как несомненный.
- The model hallucinated a citation.
- That reference is a hallucination — it doesn't exist.
Это термин, который нужен каждому аккуратному пользователю ИИ, потому что он называет главный сбой инструмента. Глагол правильный: hallucinate, hallucinated, has hallucinated. А существительное исчисляемое: a hallucination, two hallucinations.
Галлюцинация — не ложь. Ложь требует знать правду и пойти против неё. Модель не знает, что истинно; она предсказывает, какой текст последует. Назвать ложный вывод hallucination точно так, как не точны lie и mistake, — модель вообще никогда не сверялась с реальностью.
Остальной набор
Они завершают ядро, и вы встречаете их рядом с точной технической лексикой:
| Термин | Значение |
|---|---|
| training data | тексты, на которых модель училась |
| parameters | числа, которые модель выучила; «размер» в технических терминах |
| inference | момент, когда модель выдаёт ответ |
| prompt injection | атака, спрятанная внутри промпта, заставляющая модель игнорировать инструкции |
| fine-tuning | подстройка модели под одну конкретную задачу |
Говорить об этом точно
Заметьте закономерность: у каждого термина есть свой глагол, и сочетание закреплено так же, как всегда закреплены коллокации.
- The model splits text into tokens.
- The answer exceeded the context window.
- I lowered the temperature.
- The model hallucinated a source.
Верный глагол показывает, что вы понимаете механизм, а не только слова.
Проверьте себя
Тест ниже проверяет термины и глаголы, которые с ними сочетаются.