Vì Sao AI Agent Cần Tự Xoá Ngữ Cảnh Thay Vì Nhồi Nhét

Hầu hết các AI agent hiện nay đang lãng phí phần lớn tài nguyên tính toán chỉ để đọc lại dữ liệu rác của chính mình. Trong kiến trúc xây dựng agent phổ biến, lịch sử tương tác luôn vận hành theo cơ chế chỉ ghi thêm (append-only): mọi kết quả gọi API, phản hồi dòng lệnh dài hàng trăm dòng, tệp JSON thô và các bước suy luận trung gian đều được nhồi tuần tự vào prompt cho đến khi chạm trần cửa sổ ngữ cảnh.

Nghiên cứu mới công bố từ Đại học Washington, Meta Superintelligence Labs, MIT và Trillium Labs mang tên Context Language Models (CLMs) đang thay đổi hoàn toàn tư duy này. Thay vì xem ngữ cảnh là một cuộn nhật ký bất biến, CLMs coi bộ nhớ làm việc của mô hình như một tệp tin sống có thể chỉnh sửa tự do. Kết quả thực nghiệm cho thấy phương pháp này không chỉ tăng độ chính xác của agent mà còn cắt giảm lượng tính toán FLOPs tới 59%.

Cái Bẫy Của Cơ Chế Chỉ Ghi Thêm (Append-Only)

Khi lập trình một agent tự hành, luồng xử lý kinh điển thường diễn ra như sau: mô hình nhận lệnh, sinh mã gọi công cụ (tool call), hệ thống thực thi lệnh trên môi trường bên ngoài rồi nhét toàn bộ kết quả trả về vào cuối chuỗi hội thoại. Trải qua một tác vụ nghiên cứu hay sửa lỗi phần mềm kéo dài, chuỗi hội thoại này nhanh chóng phình to lên hàng chục nghìn, thậm chí hàng trăm nghìn token.

Cách tiếp cận tích lũy cơ học này tạo ra hai điểm nghẽn nghiêm trọng:

Ô nhiễm vùng chú ý (Attention Pollution): Hàng nghìn dòng mã HTML thô, log biên dịch thất bại từ 10 bước trước hay các bản kế hoạch lỗi thời làm loãng khả năng tập trung của mô hình. Cơ chế self-attention bị phân tán, khiến mô hình dễ bỏ sót các ràng buộc cốt lõi ban đầu.
Độ trễ và chi phí suy luận tăng vọt: Việc phải tính toán lại toàn bộ lượng token khổng lồ ở mỗi lượt tương tác mới khiến chi phí API và tài nguyên GPU tăng theo cấp số nhân, làm nghẽn hạ tầng khi vận hành ở quy mô lớn.

Để khắc phục, giới kỹ sư thường dựng các lớp vỏ bọc bên ngoài (external harnesses): viết mã Python định kỳ tóm tắt hội thoại, cắt tỉa token theo ngưỡng cố định hoặc đẩy bớt dữ liệu cũ vào vector database. Tuy nhiên, các thuật toán bên ngoài luôn bị bất đối xứng thông tin với chính mô hình. Một đoạn script gom nhóm không thể biết chính xác định danh biến nào hay thông số cấu hình cụ thể nào sẽ là chìa khóa để mô hình giải quyết bước tiếp theo sau đó 5 phút. Hậu quả là hoặc tóm tắt quá vội làm mất dữ kiện quan trọng, hoặc giữ lại quá nhiều rác thừa.

Biến Ngữ Cảnh Thành Tệp Tin Bản Thảo Sống

Sơ đồ minh họa sự khác biệt giữa cơ chế tích lũy ngữ cảnh chỉ ghi thêm và mô hình chỉnh sửa tệp trực tiếp

Context Language Models trả lại quyền kiểm soát bộ nhớ làm việc cho chính mô hình ngôn ngữ. Thay vì là hành khách thụ động ngồi nhìn ngữ cảnh trôi đi, mô hình được cấp quyền truy cập và chỉnh sửa trực tiếp không gian ngữ cảnh như một tệp tin trên đĩa.

Trong mô hình này, LLM có thể thực thi các thao tác biên tập nhanh như thay thế biểu thức chính quy (regex), xóa một đoạn văn bản hay ghi đè toàn bộ một khối nội dung. Khi một công cụ cào web trả về 800 dòng văn bản, mô hình chỉ giữ lại 3 con số quan trọng và lập tức xóa bỏ 797 dòng còn lại. Khi thử nghiệm sửa lỗi mã nguồn thất bại, mô hình chủ động xóa vết lỗi đã xử lý và cập nhật lại bảng trạng thái công việc ngay tại chỗ.

sed -i '/Search results: 200 items.../,+50d' context.md
cat << 'EOF' >> context.md
[Trạng thái: Xác thực API thất bại; chuyển sang phương thức Bearer Token]
EOF

Nhờ việc tự cắt tỉa dựa trên nhận thức nội tại của mô hình, ngữ cảnh luôn duy trì ở trạng thái tinh gọn và tập trung cao độ. Trên các bộ đo benchmark phức tạp như BrowseComp-Plus (duyệt web nhiều bước) hay EdgeBench (lập trình tác vụ dài), CLMs giúp nâng cao độ chính xác thêm 11,4% trong khi giảm 21,5% lượng phép tính FLOPs ở chế độ zero-shot, và giảm hơn phân nửa tài nguyên khi kết hợp tối ưu học tăng cường.

Rào Cản Hạ Tầng: Bài Toán Tái Sử Dụng KV Cache

Nếu việc chỉnh sửa trực tiếp ngữ cảnh hiệu quả như vậy, tại sao trước đây ngành công nghiệp chưa áp dụng rộng rãi? Rào cản lớn nhất nằm ở hạ tầng phục vụ suy luận: bộ nhớ đệm Key-Value (KV Cache).

Các engine suy luận tiên tiến như vLLM hay SGLang vận hành dựa trên cơ chế Prefix Caching (bộ nhớ đệm tiền tố). Chúng giả định rằng phần đầu của prompt luôn tĩnh và không đổi để tái sử dụng các vector KV đã tính toán trước đó. Nếu bạn thay đổi dù chỉ một ký tự ở giữa tệp ngữ cảnh, giá trị băm (hash) của tiền tố đó sẽ thay đổi, khiến toàn bộ KV cache phía sau bị vô hiệu hóa và GPU buộc phải tính toán lại từ đầu.

Để giải quyết nút thắt này, nhóm tác giả nghiên cứu đã thiết kế kỹ thuật Suffix Cache Reuse. Bằng cách theo dõi chính xác các đoạn token bị chèn hoặc cắt bỏ, hệ thống suy luận có thể dịch chuyển và tái sử dụng các tensor KV còn hợp lệ của phần đuôi văn bản chưa bị biến đổi. Kỹ thuật này giúp giảm 35% tài nguyên tính toán phía máy chủ so với engine SGLang tiêu chuẩn, biến cơ chế chỉnh sửa ngữ cảnh thành giải pháp khả thi trong môi trường sản xuất thực tế.

Bài Học Cho Kỹ Sư Xây Dựng AI Agent

Kỷ nguyên của việc mở rộng cửa sổ ngữ cảnh vô tội vạ rồi nhồi nhét toàn bộ lịch sử đang đi vào ngõ cụt kinh tế. Khi các tác vụ chuyển dịch từ hội thoại hỏi đáp ngắn sang các hệ thống agent chạy ngầm hàng giờ liền, việc duy trì một chuỗi nhật ký bất biến là điều không thể mở rộng bền vững.

Đối với các kỹ sư phát triển sản phẩm AI hiện nay, hướng đi rõ ràng là: thay vì chỉ phụ thuộc vào các bộ lọc tóm tắt thụ động bên ngoài, hãy trao quyền và cung cấp công cụ cho mô hình tự dọn dẹp không gian nhớ của chính nó. Thiết kế các vùng bảng nháp (scratchpad) có thể ghi đè và cho phép mô hình lược bỏ kết quả phụ trợ sẽ giúp agent chạy nhanh hơn, rẻ hơn và ít lạc đề hơn đáng kể. Trí thông minh của một agent không nằm ở chỗ nhớ được bao nhiêu dữ liệu, mà nằm ở chỗ biết chính xác điều gì cần phải quên đi.