Ki jan modèl IA yo konprann ou : token, kontèks ak alisinasyon
Kouch teknik la an lang senp — token, fenèt kontèks, tanperati ak alisinasyon —, pou ou ka pale de IA ak presizyon.
Lè ou deja konn ekri yon prompt klè, pwochen nivo a se konprann sa k ap pase andedan modèl la : se pa matematik, men konsèp yo ak angle ki dekri yo. Se tèm yo ki tounen nan nenpòt konvèsasyon serye sou IA, e lè ou sèvi ak yo ak presizyon, sa fè diferans ant moun ki sèlman li yon tit ak moun ki reflechi sou zouti a. An kreyòl anpil moun di tou senpleman token, tanperati ak alisinasyon ; isit la, pi bon pou ou konnen tèm angle yo, paske se yo ki nan dokimantasyon an ak nan entèvyou yo.
Token
Modèl la pa li mo. Li li token — moso tèks, apeprè yon mo oswa yon pati nan yon mo. unhappy ka yon sèl token ; unbelievable, de.
- The model splits the text into tokens.
- This model has a large token limit.
Yon konsekans itil se token limit lan, maksimòm modèl la ka resevwa oswa pwodui yon sèl kou. Lè yon prompt « twò long », sa ki manke a se egzakteman token yo.
Fenèt kontèks la
Context window lan se sa modèl la ka kenbe nan tèt li an menm tan, memwa li pou kout tan, ki mezire an token. Li genyen tout konvèsasyon ou an ansanm ak prompt la.
- The whole document fits inside the context window.
- Once the conversation exceeds the context window, the model forgets the beginning.
Se poutèt sa konvèsasyon ki long ak yon chatbot pafwa pèdi fil li : kòmansman an soti nan fenèt la. Nan bon angle, nou di modèl la runs out of context, nou pa di li bliye — « bliye » sipoze gen yon memwa modèl la pa genyen ant sesyon yo.
Tanperati a
Temperature kontwole nivo previzibilite repons lan. Lide a soti nan fizik — plis tanperati a wo, plis gen mouvman.
Tanperati ki ba — previzib, sèten, literal. Bon pou done ak kòd.
Tanperati ki wo — varye, san atant, kreyatif. Bon pou lide ak bouyon.
Set the temperature low for a technical answer.
The model's temperature was high, so it gave three very different drafts.
Mo a vin tèlman estanda ke nou di the response felt high-temperature — sa vle di san previzibilite — san okenn eksplikasyon anplis.
Alisinasyon an
Yon hallucination se yon repons ki sonnen sèten e ki tou senpleman fo. Modèl la envante yon done, yon non, yon sous, epi li prezante l kòm yon bagay ki pa fè dout.
- The model hallucinated a citation.
- That reference is a hallucination — it doesn't exist.
Se yon tèm tout bon itilizatè IA bezwen, paske li bay non pwoblèm prensipal zouti a. Vèb la regilye : hallucinate, hallucinated, has hallucinated. Epi non an ka konte : a hallucination, two hallucinations.
Yon alisinasyon se pa yon manti. Pou bay manti, ou dwe konnen verite a epi ou ale kont li. Modèl la pa konnen sa ki vre ; li prevwa ki tèks ki pral vini apre. Lè ou rele yon konklizyon ki fo hallucination, se pi egzak pase lie ak mistake ki pa egzak — modèl la pa janm konpare anyen ak reyalite.
Rès ansanm nan
Yo konplete nwayo a, e w ap jwenn yo toupre vokabilè teknik presi :
| Tèm | Sans |
|---|---|
| training data | tèks modèl la te aprann ladan yo |
| parameters | chif modèl la te aprann ; « gwosè » li nan tèm teknik |
| inference | moman modèl la pwodui yon repons |
| prompt injection | yon atak kache nan prompt la ki fè modèl la inyore enstriksyon li yo |
| fine-tuning | ajiste modèl la pou yon tach presi |
Pale de sa ak presizyon
Remake modèl la : chak tèm gen pwòp vèb li, e konbinezon an fiks menm jan asosyasyon mo yo toujou fiks.
- The model splits text into tokens.
- The answer exceeded the context window.
- I lowered the temperature.
- The model hallucinated a source.
Bon vèb la montre ou konprann mekanis la, se pa sèlman mo yo.
Teste sa ou fèk li a
Tès ki anba a pase an revi tèm yo ak vèb yo konbine avè yo.