AI models آپ کو کیسے سمجھتے ہیں: tokens, context اور hallucinations
تکنیکی پرت سادہ زبان میں — tokens, context window, temperature اور hallucination — تاکہ آپ AI کے بارے میں درست بات کر سکیں۔
جب آپ واضح prompt لکھنا جان جاتے ہیں، اگلی سطح یہ سمجھنا ہے کہ model کے اندر اس کا کیا ہوتا ہے: ریاضی نہیں، بلکہ تصورات اور وہ English جو انہیں بیان کرتی ہے۔ یہ وہ اصطلاحات ہیں جو AI کی کسی بھی سنجیدہ گفتگو میں سامنے آتی ہیں، اور ان کا درست استعمال اس شخص کو الگ کرتا ہے جس نے صرف سرخی پڑھی اس سے جس نے اوزار کے بارے میں سوچا۔
Tokens
Model الفاظ نہیں پڑھتی۔ وہ tokens پڑھتی ہے — text کے ٹکڑے، تقریباً ایک لفظ یا لفظ کا حصہ۔ unhappy ایک token ہو سکتا ہے؛ unbelievable دو۔
- The model splits the text into tokens.
- This model has a large token limit.
ایک مفید نتیجہ token limit ہے، وہ زیادہ سے زیادہ جو model ایک بار میں لے یا دے سکتی ہے۔ جب prompt «بہت لمبا» ہو، تو ختم ہوئے tokens ہی ہوتے ہیں۔
Context window
Context window یہ ہے کہ model ایک ساتھ کتنا ذہن میں رکھ سکتی ہے، اس کی قلیل مدتی یادداشت، tokens میں ناپی گئی۔ اندر آپ کی پوری گفتگو plus prompt ہوتی ہے۔
- The whole document fits inside the context window.
- Once the conversation exceeds the context window, the model forgets the beginning.
یہی وجہ ہے کہ chatbot سے لمبی گفتگو کبھی کبھی سرا کھو دیتی ہے: شروع window سے باہر گر گیا۔ درست English میں کہا جاتا ہے کہ model runs out of context، نہ کہ وہ بھول گئی — «بھول گئی» یادداشت کا اشارہ دیتا ہے، جو model کے پاس sessions کے درمیان ہوتی ہی نہیں۔
Temperature
Temperature جواب کی پیش بینی پذیری کو قابو کرتی ہے۔ یہ خیال physics سے لیا گیا ہے — temperature جتنی اونچی، حرکت اتنی زیادہ۔
کم temperature — پیش بینی کے قابل، محفوظ، لفظی۔ facts اور code کے لیے اچھی۔
اونچی temperature — متنوع، غیر متوقع، تخلیقی۔ خیالات اور drafts کے لیے اچھی۔
Set the temperature low for a technical answer.
The model's temperature was high, so it gave three very different drafts.
یہ لفظ اب اتنا معیاری ہے کہ لوگ the response felt high-temperature — یعنی غیر متوقع — بغیر وضاحت کے کہتے ہیں۔
Hallucination
Hallucination ایک پراعتماد جواب ہے جو بس جھوٹا ہوتا ہے۔ Model نے کوئی حقیقت، نام، ماخذ گھڑ لیا اور اسے بلا شبہ بتا کر پیش کیا۔
- The model hallucinated a citation.
- That reference is a hallucination — it doesn't exist.
یہ وہ اصطلاح ہے جو ہر محتاط AI صارف کو چاہیے، کیونکہ یہ اوزار کی بنیادی خرابی کو نام دیتی ہے۔ فعل درست ہے: hallucinate, hallucinated, has hallucinated۔ اور اسم شمار پذیر ہے: a hallucination, two hallucinations۔
Hallucination جھوٹ نہیں ہے۔ جھوٹ کے لیے سچ جاننا اور اس کے خلاف جانا ضروری ہے۔ Model نہیں جانتی کہ سچ کیا ہے؛ وہ اندازہ لگاتی ہے کہ آگے کون سا text آئے گا۔ جھوٹے نتیجے کو hallucination کہنا بالکل اتنا ہی درست ہے جتنا lie اور mistake نہیں ہیں — model نے کبھی حقیقت سے ملایا ہی نہیں۔
باقی سیٹ
یہ بنیاد کو مکمل کرتے ہیں، اور آپ انہیں درست تکنیکی ذخیرۂ الفاظ کے قریب دیکھتے ہیں:
| Term | مطلب |
|---|---|
| training data | وہ text جن پر model نے سیکھا |
| parameters | وہ اعداد جو model نے سیکھے؛ تکنیکی الفاظ میں «size» |
| inference | وہ لمحہ جب model جواب دیتی ہے |
| prompt injection | prompt کے اندر چھپا حملہ، جو model کو ہدایات نظر انداز کرنے پر مجبور کرتا ہے |
| fine-tuning | model کو ایک خاص کام کے لیے ڈھالنا |
اس کے بارے میں درست بات کرنا
نمونے پر دھیان دیں: ہر term کا اپنا فعل ہوتا ہے، اور جوڑ اتنا ہی طے ہے جتنے collocations ہمیشہ طے ہوتے ہیں۔
- The model splits text into tokens.
- The answer exceeded the context window.
- I lowered the temperature.
- The model hallucinated a source.
صحیح فعل دکھاتا ہے کہ آپ نظام کو سمجھتے ہیں، صرف الفاظ کو نہیں۔
خود پرکھیں
نیچے دیا گیا کوئز terms اور ان کے ساتھ چلنے والے افعال کو جانچتا ہے۔