AI models আপনাকে কীভাবে বোঝে: tokens, context ও hallucinations
প্রযুক্তিগত স্তর সহজ ভাষায় — tokens, context window, temperature ও hallucination — যাতে আপনি AI নিয়ে সঠিকভাবে কথা বলতে পারেন।
যখন আপনি স্পষ্ট prompt লিখতে জানেন, পরের স্তর হল model-এর ভিতরে এর কী ঘটে তা বোঝা: গণিত নয়, বরং ধারণা আর সেই English যা তাদের বর্ণনা করে। এগুলো সেই terms যা AI নিয়ে যেকোনো গুরুতর আলোচনায় ওঠে, আর এদের সঠিক ব্যবহার সেই মানুষকে আলাদা করে যে শুধু শিরোনাম পড়েছে তার থেকে যে সরঞ্জামটি নিয়ে ভেবেছে।
Tokens
Model শব্দ পড়ে না। সে tokens পড়ে — text-এর টুকরো, মোটামুটি একটি শব্দ বা শব্দের অংশ। unhappy একটি token হতে পারে; unbelievable দুটি।
- The model splits the text into tokens.
- This model has a large token limit.
একটি কাজের ফলাফল হল token limit, সর্বোচ্চ যা model একবারে নিতে বা দিতে পারে। যখন prompt «খুব লম্বা», তখন খতম হয়েছে tokens-ই।
Context window
Context window হল model একসঙ্গে কতটা মনে রাখতে পারে, তার স্বল্পমেয়াদি স্মৃতি, tokens-এ মাপা। ভিতরে থাকে আপনার পুরো কথোপকথন plus prompt।
- The whole document fits inside the context window.
- Once the conversation exceeds the context window, the model forgets the beginning.
এই কারণেই chatbot-এর সঙ্গে লম্বা কথোপকথন কখনো কখনো সুতো হারায়: শুরুটা window থেকে পড়ে গেছে। সঠিক English-এ বলা হয় model runs out of context, নয় যে সে ভুলে গেছে — «ভুলে গেছে» স্মৃতির ইঙ্গিত দেয়, যা model-এর sessions-এর মধ্যে থাকে না।
Temperature
Temperature উত্তরের পূর্বাভাসযোগ্যতা নিয়ন্ত্রণ করে। ধারণাটি physics থেকে নেওয়া — temperature যত বেশি, গতি তত বেশি।
কম temperature — পূর্বাভাসযোগ্য, নিরাপদ, আক্ষরিক। facts ও code-এর জন্য ভালো।
বেশি temperature — বৈচিত্র্যময়, অপ্রত্যাশিত, সৃজনশীল। ধারণা ও খসড়ার জন্য ভালো।
Set the temperature low for a technical answer.
The model's temperature was high, so it gave three very different drafts.
শব্দটি এখন এতটাই মানক যে মানুষ the response felt high-temperature — অর্থাৎ অপ্রত্যাশিত — ব্যাখ্যা ছাড়াই বলে।
Hallucination
Hallucination হল একটি আত্মবিশ্বাসী-শোনানো উত্তর যা স্রেফ মিথ্যা। Model কোনো তথ্য, নাম, সূত্র গড়েছে আর নিঃসন্দেহ বলে চালিয়ে দিয়েছে।
- The model hallucinated a citation.
- That reference is a hallucination — it doesn't exist.
এটি সেই term যা প্রতিটি সতর্ক AI ব্যবহারকারীর দরকার, কারণ এটি সরঞ্জামটির প্রধান ত্রুটিকে নাম দেয়। Verb সঠিক: hallucinate, hallucinated, has hallucinated। আর noun গণনাযোগ্য: a hallucination, two hallucinations।
Hallucination মিথ্যা নয়। মিথ্যার জন্য সত্য জানা আর তার বিরুদ্ধে যাওয়া দরকার। Model জানে না কী সত্য; সে অনুমান করে কোন text এরপর আসবে। মিথ্যা ফলাফলকে hallucination বলা ঠিক ততটাই সঠিক যতটা lie আর mistake নয় — model কখনো বাস্তবতার সঙ্গে মেলায়নি।
বাকি দল
এরা মূল অংশ সম্পূর্ণ করে, আর আপনি এদের সঠিক প্রযুক্তিগত শব্দভাণ্ডারের পাশে দেখেন:
| Term | মানে |
|---|---|
| training data | যে text-এর উপর model শিখেছে |
| parameters | যে সংখ্যাগুলো model শিখেছে; প্রযুক্তিগত ভাষায় «size» |
| inference | সেই মুহূর্ত যখন model উত্তর দেয় |
| prompt injection | prompt-এর ভিতরে লুকানো আক্রমণ, যা model-কে নির্দেশ উপেক্ষা করতে বাধ্য করে |
| fine-tuning | model-কে একটি নির্দিষ্ট কাজের জন্য মানিয়ে নেওয়া |
এ নিয়ে সঠিকভাবে কথা বলা
নিয়ম লক্ষ করুন: প্রতিটি term-এর নিজস্ব verb আছে, আর জুটি ততটাই নির্দিষ্ট যতটা collocations সবসময় নির্দিষ্ট থাকে।
- The model splits text into tokens.
- The answer exceeded the context window.
- I lowered the temperature.
- The model hallucinated a source.
সঠিক verb দেখায় যে আপনি কার্যপ্রণালি বোঝেন, শুধু শব্দ নয়।
নিজে যাচাই করুন
নিচের কুইজটি terms আর তাদের সঙ্গে চলা verbs যাচাই করে।