ЖИ модельдері сізді қалай түсінеді: токендер, контекст және галлюцинациялар
Техникалық қабат қарапайым тілмен — токендер, контекст терезесі, температура және галлюцинация — ЖИ туралы дәл сөйлесе алуыңыз үшін.
Айқын промпт жазуды білгенде, келесі деңгей — промпттың модель ішінде не болғанын түсіну: математиканы емес, ұғымдарды және оларды сипаттайтын ағылшыншаны. Бұл — ЖИ туралы кез келген байыпты әңгімеде шығатын терминдер, және оларды дәл қолдану тақырыпты оқыған адамды құрал туралы ойланған адамнан ажыратады.
Токендер
Модель сөздерді оқымайды. Ол токендерді оқиды — шамамен бір сөз немесе сөздің бөлігі болатын мәтін бөліктерін. unhappy бір токен болуы мүмкін; unbelievable — екі.
- The model splits the text into tokens.
- This model has a large token limit.
Пайдалы салдары — token limit, модель бір ретте қабылдап немесе шығара алатын максимум. Промпт «тым ұзын» болғанда, таусылған нәрсе дәл токендер.
Контекст терезесі
Context window — модель бір уақытта ойында ұстай алатын нәрсе, оның токенмен өлшенетін қысқа мерзімді жады. Ішінде бүкіл сөйлесуіңіз плюс промпт тұрады.
- The whole document fits inside the context window.
- Once the conversation exceeds the context window, the model forgets the beginning.
Чат-ботпен ұзақ сөйлесулер кейде жіптен айырылатыны сондықтан: басы терезеден түсіп қалды. Ұқыпты ағылшыншада модель ұмытты емес, runs out of context болды делінеді — «ұмытты» модельдің сеанстар арасында жоқ жадын білдіреді.
Температура
Temperature жауаптың болжамдылығын басқарады. Идея физикадан алынған — температура жоғары болған сайын қозғалыс артады.
Төмен температура — болжамды, қауіпсіз, тура. Фактілер мен кодқа жақсы.
Жоғары температура — әртүрлі, күтпеген, шығармашылық. Идеялар мен шикі жобаларға жақсы.
Set the temperature low for a technical answer.
The model's temperature was high, so it gave three very different drafts.
Сөз соншалықты стандарт болып кеткен, адамдар түсіндірместен the response felt high-temperature — яғни болжауға келмейтін — дейді.
Галлюцинация
Hallucination — сенімді естілетін, бірақ жай ғана жалған жауап. Модель фактіні, есімді, дереккөзді ойлап тапты және оны даусыз деп ұсынды.
- The model hallucinated a citation.
- That reference is a hallucination — it doesn't exist.
Бұл — әр ұқыпты ЖИ пайдаланушысына керек термин, себебі ол құралдың басты ақауын атайды. Етістік дұрыс: hallucinate, hallucinated, has hallucinated. Ал зат есім саналатын: a hallucination, two hallucinations.
Галлюцинация — өтірік емес. Өтірік шындықты білуді және оған қарсы шығуды талап етеді. Модель ненің ақиқат екенін білмейді; ол қай мәтіннің келетінін болжайды. Жалған қорытындыны hallucination деу, lie мен mistake дәл емес болғанындай дәл — модель шындықпен мүлде салыстырмаған.
Қалған жиынтық
Олар өзекті аяқтайды, және оларды дәл техникалық лексиканың жанында кездестіресіз:
| Термин | Мағынасы |
|---|---|
| training data | модель үйренген мәтіндер |
| parameters | модель үйренген сандар; техникалық тұрғыдан «өлшем» |
| inference | модель жауап шығаратын сәт |
| prompt injection | промпт ішіне жасырылған, модельді нұсқауларды елемеуге мәжбүрлейтін шабуыл |
| fine-tuning | модельді бір нақты тапсырмаға бейімдеу |
Бұны дәл айту
Заңдылықты байқаңыз: әр терминнің өз етістігі бар, және тіркесім коллокациялар әрқашан бекітілгендей бекітілген.
- The model splits text into tokens.
- The answer exceeded the context window.
- I lowered the temperature.
- The model hallucinated a source.
Дұрыс етістік механизмді, сөздерді ғана емес, түсінетініңізді көрсетеді.
Өзіңізді тексеріңіз
Төмендегі тест терминдерді және олармен тіркесетін етістіктерді тексереді.