Mô hình trí tuệ nhân tạo hiểu bạn thế nào: token, ngữ cảnh và ảo giác

Sau khi bạn biết viết prompt rõ ràng, bước tiếp theo là hiểu điều gì xảy ra bên trong mô hình với prompt đó: không phải toán học, mà là các khái niệm và tiếng Anh mô tả chúng. Đây là những thuật ngữ xuất hiện trong mọi cuộc trò chuyện nghiêm túc về trí tuệ nhân tạo, và dùng chúng chính xác phân biệt người thực sự hiểu chủ đề với người chỉ biết công cụ.

Token

Mô hình không đọc từ. Mô hình đọc token — những mảnh văn bản tương đương gần đúng một từ hoặc một phần của từ. unhappy có thể là một token; unbelievable — hai.

• The model splits the text into tokens.
• This model has a large token limit.

Hệ quả thực tế là token limit, giới hạn tối đa mà mô hình có thể nhận hoặc tạo ra cùng một lúc. Khi một prompt «quá dài», thứ thực sự cạn là token.

Cửa sổ ngữ cảnh

Context window là lượng mô hình có thể nhớ đồng thời, bộ nhớ ngắn hạn của nó đo bằng token. Bên trong có toàn bộ cuộc trò chuyện của bạn cộng với prompt.

• The whole document fits inside the context window.
• Once the conversation exceeds the context window, the model forgets the beginning.

Đây là lý do những cuộc trò chuyện dài với chatbot đôi khi mất mạch: phần đầu đã ra khỏi cửa sổ. Trong tiếng Anh cẩn trọng, người ta nói mô hình runs out of context, chứ không phải nó quên — từ «quên» ngụ ý một bộ nhớ mà mô hình không có giữa các phiên.

Temperature

Temperature điều khiển mức độ dự đoán được của một câu trả lời. Ý tưởng mượn từ vật lý — temperature càng cao, càng nhiều chuyển động.

• Temperature thấp — dự đoán được, an toàn, trực tiếp. Tốt cho sự thật và mã.

• Temperature cao — đa dạng, bất ngờ, sáng tạo. Tốt cho ý tưởng và bản nháp đầu.

• Set the temperature low for a technical answer.

• The model's temperature was high, so it gave three very different drafts.

Từ này đã chuẩn đến mức người ta nói the response felt high-temperature — nghĩa là không dự đoán được — mà không cần giải thích thêm.

Ảo giác

Hallucination là câu trả lời nghe thuyết phục nhưng thực ra sai. Mô hình bịa ra sự thật, tên hoặc nguồn, và trình bày như thể không còn nghi ngờ gì.

• The model hallucinated a citation.
• That reference is a hallucination — it doesn't exist.

Đây là thuật ngữ mà mọi người dùng trí tuệ nhân tạo cẩn thận cần, vì nó gọi tên điểm yếu chính của công cụ. Động từ chia theo quy tắc: hallucinate, hallucinated, has hallucinated. Danh từ đếm được: a hallucination, two hallucinations. Tiếng Việt thường nói «ảo giác» hoặc «AI bịa thông tin»; tiếng Anh dùng hallucinate như động từ — một điểm khác với danh từ «ảo giác».

Ảo giác không phải là nói dối. Nói dối đòi hỏi biết sự thật và hành động trái với nó. Mô hình không biết điều gì đúng; nó dự đoán văn bản nào sẽ xuất hiện tiếp theo. Gọi một kết luận sai là hallucination chính xác cũng vì lý do lie và mistake không chính xác — mô hình hoàn toàn không đối chiếu với sự thật.

Các thuật ngữ khác

Những thuật ngữ này bổ sung phần lõi, và bạn sẽ gặp chúng trong bài về độ chính xác của từ vựng kỹ thuật.

Thuật ngữ	Nghĩa
training data	các văn bản mô hình đã học
parameters	các con số mô hình học được; về mặt kỹ thuật gọi là «trọng số»
inference	lúc mô hình tạo ra câu trả lời
prompt injection	cuộc tấn công giấu trong prompt, buộc mô hình bỏ qua chỉ dẫn của nó
fine-tuning	điều chỉnh mô hình cho một nhiệm vụ cụ thể

Nói cho chính xác

Hãy chú ý khuôn mẫu: mỗi thuật ngữ có động từ riêng, và các kết hợp từ này luôn cố định.

• The model splits text into tokens.
• The answer exceeded the context window.
• I lowered the temperature.
• The model hallucinated a source.

Động từ đúng cho thấy bạn hiểu cơ chế, không chỉ biết các từ.

Tự kiểm tra

Bài kiểm tra bên dưới kiểm tra các thuật ngữ đó và động từ đi cùng chúng.