Bagaimana model kecerdasan buatan memahami Anda: token, konteks, dan halusinasi
Lapisan teknis dijelaskan dengan bahasa sederhana — token, jendela konteks, temperature, dan halusinasi — agar Anda bisa berbicara tentang kecerdasan buatan dengan tepat.
Setelah Anda tahu cara menulis prompt yang jelas, tingkat berikutnya adalah memahami apa yang terjadi di dalam model terhadap prompt tersebut: bukan matematikanya, melainkan konsep-konsepnya dan bahasa Inggris yang mendeskripsikannya. Inilah istilah-istilah yang muncul dalam setiap percakapan serius tentang kecerdasan buatan, dan menggunakannya dengan tepat membedakan orang yang benar-benar memahami topik ini dari orang yang sekadar tahu alatnya.
Token
Model tidak membaca kata. Model membaca token — potongan teks yang kira-kira setara dengan satu kata atau sebagian kata. unhappy bisa menjadi satu token; unbelievable — dua.
- The model splits the text into tokens.
- This model has a large token limit.
Konsekuensi praktisnya adalah token limit, batas maksimum yang bisa diterima atau dihasilkan model sekaligus. Ketika sebuah prompt "terlalu panjang", yang sebenarnya habis adalah token.
Jendela konteks
Context window adalah apa yang bisa diingat model secara bersamaan, memori jangka pendeknya yang diukur dalam token. Di dalamnya terdapat seluruh percakapan Anda ditambah prompt.
- The whole document fits inside the context window.
- Once the conversation exceeds the context window, the model forgets the beginning.
Inilah sebabnya percakapan panjang dengan chatbot kadang kehilangan alurnya: bagian awal sudah keluar dari jendela. Dalam bahasa Inggris yang cermat, dikatakan model runs out of context, bukan ia lupa — kata "lupa" menyiratkan memori yang tidak dimiliki model di antara sesi.
Temperature
Temperature mengendalikan seberapa bisa diprediksi sebuah jawaban. Idenya diambil dari fisika — semakin tinggi temperature, semakin banyak pergerakan.
Temperature rendah — bisa diprediksi, aman, langsung. Baik untuk fakta dan kode.
Temperature tinggi — beragam, tak terduga, kreatif. Baik untuk ide dan draf awal.
Set the temperature low for a technical answer.
The model's temperature was high, so it gave three very different drafts.
Kata ini sudah begitu baku sehingga orang mengatakan the response felt high-temperature — artinya tidak bisa diprediksi — tanpa perlu menjelaskan lebih lanjut.
Halusinasi
Hallucination adalah jawaban yang terdengar meyakinkan tetapi sebenarnya salah. Model mengarang fakta, nama, atau sumber, dan menyajikannya seolah-olah tidak diragukan lagi.
- The model hallucinated a citation.
- That reference is a hallucination — it doesn't exist.
Ini adalah istilah yang dibutuhkan setiap pengguna kecerdasan buatan yang cermat, karena istilah ini menyebut kelemahan utama dari alat tersebut. Kata kerjanya beraturan: hallucinate, hallucinated, has hallucinated. Kata bendanya bisa dihitung: a hallucination, two hallucinations.
Halusinasi bukanlah kebohongan. Kebohongan membutuhkan pengetahuan tentang kebenaran dan tindakan bertentangan dengannya. Model tidak tahu apa yang benar; model memprediksi teks mana yang akan muncul berikutnya. Menyebut kesimpulan yang salah sebagai hallucination sama tepatnya dengan mengapa lie dan mistake tidak tepat — model sama sekali tidak membandingkannya dengan kebenaran.
Kumpulan istilah lainnya
Istilah-istilah ini melengkapi intinya, dan Anda akan menjumpainya di artikel tentang ketepatan kosakata teknis.
| Istilah | Maknanya |
|---|---|
| training data | teks-teks yang dipelajari model |
| parameters | angka-angka yang dipelajari model; secara teknis disebut "bobot" |
| inference | saat model menghasilkan jawaban |
| prompt injection | serangan yang disembunyikan di dalam prompt, memaksa model mengabaikan instruksinya |
| fine-tuning | menyesuaikan model untuk satu tugas tertentu |
Mengatakannya dengan tepat
Perhatikan polanya: setiap istilah memiliki kata kerjanya sendiri, dan kombinasi kolokasi ini selalu bersifat tetap.
- The model splits text into tokens.
- The answer exceeded the context window.
- I lowered the temperature.
- The model hallucinated a source.
Kata kerja yang tepat menunjukkan bahwa Anda memahami mekanismenya, bukan sekadar kata-katanya.
Periksa diri Anda
Tes di bawah ini menguji istilah-istilah tersebut dan kata kerja yang berpasangan dengannya.