СИ моделлари сизни қандай тушунади: токенлар, контекст ва галлюцинациялар

Аниқ промпт ёзишни билганда, кейинги босқич — промптнинг модель ичида нима бўлишини тушуниш: математикани эмас, тушунчаларни ва уларни таърифлайдиган инглизчани. Бу — СИ ҳақидаги ҳар қандай жиддий суҳбатда чиқадиган терминлар ва уларни аниқ қўллаш мавзуни ўқиган одамни восита ҳақида ўйлаган одамдан ажратади.

Токенлар

Модель сўзларни ўқимайди. У токенларни ўқийди — тахминан битта сўз ёки сўзнинг бўлаги бўладиган матн бўлакларини. unhappy битта токен бўлиши мумкин; unbelievable — иккита.

• The model splits the text into tokens.
• This model has a large token limit.

Фойдали оқибати — token limit, модель бир йўла қабул қилиши ёки чиқара оладиган максимум. Промпт «жуда узун» бўлганда, тугаган нарса айнан токенлар.

Контекст ойнаси

Context window — модель бир вақтда эсида ушлаб тура оладиган нарса, унинг токенлар билан ўлчанадиган қисқа муддатли хотираси. Ичида бутун суҳбатингиз плюс промпт туради.

• The whole document fits inside the context window.
• Once the conversation exceeds the context window, the model forgets the beginning.

Чат-бот билан узоқ суҳбатлар баъзан ип узилиб қолишининг сабаби шу: боши ойнадан тушиб қолди. Эҳтиёткор инглизчада модель унутди эмас, runs out of context бўлди дейилади — «унутди» модельда сеанслар орасида йўқ хотирани англатади.

Ҳарорат

Temperature жавобнинг башорат қилинишини бошқаради. Ғоя физикадан олинган — ҳарорат юқори бўлган сайин ҳаракат ортади.

• Паст ҳарорат — башорат қилинадиган, хавфсиз, тўғри. Фактлар ва кодга яхши.

• Юқори ҳарорат — турли, кутилмаган, ижодий. Ғоялар ва хом лойиҳаларга яхши.

• Set the temperature low for a technical answer.

• The model's temperature was high, so it gave three very different drafts.

Сўз шунчалик стандарт бўлиб кетганки, одамлар тушунтирмасдан the response felt high-temperature — яъни башорат қилиб бўлмайдиган — дейди.

Галлюцинация

Hallucination — ишончли эшитиладиган, лекин шунчаки ёлғон жавоб. Модель фактни, исмни, манбани ўйлаб топди ва уни шубҳасиз деб тақдим этди.

• The model hallucinated a citation.
• That reference is a hallucination — it doesn't exist.

Бу — ҳар бир эҳтиёткор СИ фойдаланувчисига керак термин, чунки у воситанинг асосий камчилигини номлайди. Феъл тўғри: hallucinate, hallucinated, has hallucinated. От эса саналадиган: a hallucination, two hallucinations.

Галлюцинация — ёлғон эмас. Ёлғон ҳақиқатни билишни ва унга қарши чиқишни талаб қилади. Модель нима ҳақиқат эканини билмайди; у қайси матн келишини тахмин қилади. Нотўғри хулосани hallucination дейиш, lie ва mistake аниқ бўлмагани каби аниқ — модель ҳақиқат билан умуман солиштирмаган.

Қолган тўплам

Улар ўзакни тугаллайди ва уларни аниқ техник лексика ёнида учратасиз:

Термин	Маъноси
training data	модель ўрганган матнлар
parameters	модель ўрганган сонлар; техник жиҳатдан «ўлчам»
inference	модель жавоб чиқарадиган лаҳза
prompt injection	промпт ичига яширилган, моделни кўрсатмаларни эътиборсиз қолдиришга мажбур қиладиган ҳужум
fine-tuning	моделни бир аниқ вазифага мослаштириш

Буни аниқ айтиш

Қонуниятни пайқанг: ҳар бир терминнинг ўз феъли бор ва бирикма коллокациялар ҳамиша қотиб қолгандек қотиб қолган.

• The model splits text into tokens.
• The answer exceeded the context window.
• I lowered the temperature.
• The model hallucinated a source.

Тўғри феъл механизмни тушунганингизни кўрсатади, сўзларнигина эмас.

Ўзингизни текшириб кўринг

Қуйидаги тест терминларни ва улар билан бирикадиган феълларни текширади.